Neon Performance Tests

Runs for test_runner/performance/test_perf_pgbench.py::test_pgbench_remote_init[3600-684]

platform: rds-postgres
init.end_timestamp: 1669094110
init.start_timestamp: 1669093437
scale: 684

revision init.client_side_generate init.create_tables init.drop_tables init.duration init.primary_keys init.vacuum total_duration
0ba4ca 0.00 (0.00) 0.03 (-0.25) 0.14 (0.00) 539.75 (+0.00) 127.00 (-0.02) 159.61 (+0.03) 539.75 (+0.00)
e43cde 0.00 (0.00) 0.04 (+1.00) 0.14 (0.00) 538.08 (+0.00) 129.20 (+0.02) 155.66 (-0.01) 538.08 (+0.00)
6b1c4c 0.00 (0.00) 0.02 (-0.33) 0.14 (-0.07) 535.91 (+0.00) 126.35 (+0.02) 157.47 (+0.01) 535.91 (+0.00)
5d13a2 0.00 (0.00) 0.03 (0.00) 0.15 (+0.15) 535.73 (+0.00) 124.03 (-0.01) 155.43 (+0.01) 535.74 (+0.00)
f7249b 0.00 (0.00) 0.03 (0.00) 0.13 (-0.07) 534.59 (-0.01) 125.77 (-0.02) 153.99 (-0.02) 534.59 (-0.01)
306c4f 0.00 (0.00) 0.03 (0.00) 0.14 (0.00) 538.96 (+0.01) 128.35 (+0.02) 157.75 (+0.03) 538.96 (+0.01)
bd5934 0.00 (0.00) 0.03 (0.00) 0.14 (0.00) 534.63 (+0.00) 126.30 (-0.03) 153.56 (+0.01) 534.63 (+0.00)
b1a112 0.00 (0.00) 0.03 (0.00) 0.14 (0.00) 534.32 (+0.00) 129.92 (+0.03) 152.78 (-0.05) 534.33 (+0.00)
99c159 0.00 (0.00) 0.03 (0.00) 0.14 (0.00) 533.30 (-0.00) 125.88 (+0.00) 161.00 (+0.03) 533.30 (-0.00)
ea5a97 0.00 (0.00) 0.03 (0.00) 0.14 (0.00) 534.50 (+0.02) 125.70 (+0.01) 156.81 (+0.02) 534.50 (+0.02)
89275f 0.00 (0.00) 0.03 (+0.50) 0.14 (-0.12) 524.44 (-0.02) 125.00 (-0.01) 154.02 (-0.03) 524.44 (-0.02)
6d33d8 0.00 (0.00) 0.02 (-0.33) 0.16 (+0.78) 536.39 (+0.00) 126.51 (-0.01) 158.47 (+0.02) 536.39 (+0.00)
a7f4ee 0.00 (0.00) 0.03 (+0.50) 0.09 (+0.29) 534.25 (+0.47) 127.43 (+0.69) 155.39 (+0.08) 534.25 (+0.47)
6f28da 0.00 (0.00) 0.02 (-0.33) 0.07 (-0.87) 363.08 (-0.02) 75.23 (-0.06) 143.46 (-0.02) 363.09 (-0.02)
41aa62 0.00 (0.00) 0.03 (0.00) 0.55 (+1.39) 370.35 (+0.01) 80.06 (+0.03) 146.57 (+0.03) 370.35 (+0.01)
7b5489 0.00 (0.00) 0.03 (0.00) 0.23 (-0.48) 365.09 (-0.01) 77.62 (-0.03) 142.34 (-0.02) 365.09 (-0.01)
a23b07 0.00 (0.00) 0.03 (0.00) 0.44 (+1.75) 367.77 (-0.01) 79.82 (-0.02) 145.40 (-0.01) 367.78 (-0.01)
cc2d00 0.00 (0.00) 0.03 (0.00) 0.16 (-0.33) 371.25 (+0.02) 81.34 (+0.06) 146.78 (+0.01) 371.25 (+0.02)
ba9df2 0.00 (0.00) 0.03 (+2.00) 0.24 (+240000.00) 363.25 (-0.00) 76.75 (-0.04) 145.19 (+0.03) 363.25 (-0.00)
a8f354 0.00 (0.00) 0.01 (-0.97) 0.00 (-1.00) 364.08 (-0.35) 79.64 (-0.42) 140.47 (-0.09) 364.08 (-0.35)
7feb0d 0.00 (0.00) 0.35 (0.00) 0.20 (-0.29) 558.35 (+0.01) 137.36 (+0.02) 154.07 (-0.05) 558.35 (+0.01)
982fce 0.00 (0.00) 0.35 (0.00) 0.28 (-0.03) 555.16 (-0.01) 135.16 (+0.02) 161.84 (-0.00) 555.17 (-0.01)
1f151d 0.00 (0.00) 0.35 (0.00) 0.29 (+0.26) 559.75 (-0.01) 132.84 (-0.03) 161.92 (-0.00) 559.75 (-0.01)
ff1a1a 0.00 (0.00) 0.35 (0.00) 0.23 (+0.10) 567.28 (+0.01) 137.01 (+0.00) 162.32 (+0.04) 567.28 (+0.01)
b1477b 0.00 (0.00) 0.35 (+0.03) 0.21 (0.00) 561.15 (+0.00) 136.76 (-0.01) 156.60 (-0.01) 561.15 (+0.00)
1b947f 0.00 (0.00) 0.34 (-0.03) 0.21 (0.00) 560.86 (+0.01) 138.00 (+0.05) 158.65 (-0.00) 560.86 (+0.01)
a21b55 0.00 (0.00) 0.35 (0.00) 0.21 (-0.09) 555.08 (-0.02) 131.91 (-0.06) 158.89 (-0.01) 555.08 (-0.02)
4ba950 0.00 (0.00) 0.35 (-0.40) 0.23 (0.00) 564.80 (+0.00) 139.96 (+0.01) 160.76 (-0.00) 564.80 (+0.00)
4e359d 0.00 (0.00) 0.58 (+0.71) 0.23 (+0.15) 562.29 (+0.00) 138.52 (+0.00) 161.55 (+0.02) 562.29 (+0.00)
3837fc 0.00 (0.00) 0.34 (0.00) 0.20 (+0.05) 561.24 (+0.01) 137.86 (+0.01) 158.23 (+0.04) 561.25 (+0.01)
edcf4d 0.00 (0.00) 0.34 (0.00) 0.19 (-0.10) 556.32 (-0.01) 136.77 (-0.01) 152.38 (-0.01) 556.32 (-0.01)
411c71 0.00 (0.00) 0.34 (-0.03) 0.21 (-0.09) 560.38 (-0.01) 137.86 (-0.00) 154.59 (-0.01) 560.38 (-0.01)
854348 0.00 (0.00) 0.35 (+0.03) 0.23 (-0.04) 564.55 (+0.01) 138.17 (+0.02) 156.85 (-0.04) 564.55 (+0.01)
7ba5c2 0.00 (0.00) 0.34 (0.00) 0.24 (+0.20) 559.32 (+0.01) 135.08 (-0.01) 162.89 (+0.05) 559.33 (+0.01)
ebea29 0.00 (0.00) 0.34 (0.00) 0.20 (-0.20) 554.23 (+0.00) 136.17 (+0.00) 154.66 (+0.01) 554.24 (+0.00)
22c890 0.00 (0.00) 0.34 (0.00) 0.25 (+0.19) 553.49 (+0.01) 135.67 (+0.02) 152.95 (-0.00) 553.49 (+0.01)
f0b2e0 0.00 (0.00) 0.34 (-0.03) 0.21 (-0.05) 548.88 (-0.02) 133.55 (-0.03) 153.17 (-0.02) 548.88 (-0.02)
dec580 0.00 (0.00) 0.35 (+0.03) 0.22 (0.00) 559.34 (+0.01) 138.03 (+0.02) 156.00 (+0.01) 559.34 (+0.01)
dec580 0.00 (0.00) 0.34 (0.00) 0.22 (+0.05) 556.52 (+0.01) 135.85 (+0.01) 154.02 (+0.01) 556.52 (+0.01)
b1c2a6 0.00 (0.00) 0.34 (0.00) 0.21 (0.00) 549.78 (-0.01) 135.02 (-0.01) 151.84 (-0.01) 549.78 (-0.01)
931094 0.00 (0.00) 0.34 (0.00) 0.21 (-0.05) 555.32 (+0.00) 136.19 (-0.01) 153.20 (+0.00) 555.32 (+0.00)
957acb 0.00 (0.00) 0.34 (-0.03) 0.22 (-0.04) 555.08 (+0.00) 138.09 (+0.02) 153.06 (-0.01) 555.08 (+0.00)
846532 0.00 (0.00) 0.35 (+0.03) 0.23 (+0.05) 552.36 (-0.01) 134.75 (-0.01) 154.28 (-0.02) 552.37 (-0.01)
d733bc 0.00 (0.00) 0.34 (0.00) 0.22 (+0.05) 556.45 (+0.01) 135.49 (+0.01) 157.92 (+0.01) 556.46 (+0.01)
75ffe3 0.00 (0.00) 0.34 (0.00) 0.21 (0.00) 552.70 (-0.00) 134.30 (+0.00) 155.95 (+0.01) 552.70 (-0.00)
75ffe3 0.00 (0.00) 0.34 (0.00) 0.21 (-0.12) 555.45 (+0.01) 134.28 (+0.01) 155.07 (-0.02) 555.46 (+0.01)
bf4623 0.00 (0.00) 0.34 (0.00) 0.24 (+0.04) 551.50 (-0.01) 133.21 (-0.02) 157.69 (+0.01) 551.50 (-0.01)
b26c83 0.00 (0.00) 0.34 (-0.03) 0.23 (+0.10) 556.80 (-0.01) 135.33 (-0.01) 155.98 (-0.04) 556.80 (-0.01)
9d714a 0.00 (0.00) 0.35 (+0.03) 0.21 (-0.05) 562.02 (+0.01) 136.85 (-0.01) 162.68 (+0.08) 562.02 (+0.01)
6efea4 0.00 (0.00) 0.34 (0.00) 0.22 (+0.05) 555.86 (+0.01) 138.07 (+0.06) 150.79 (-0.04) 555.86 (+0.01)
4071ff 0.00 (0.00) 0.34 (0.00) 0.21 (0.00) 552.34 (+0.00) 130.67 (-0.04) 156.46 (+0.02) 552.34 (+0.00)
4071ff 0.00 (0.00) 0.34 (0.00) 0.21 (+0.11) 552.14 (-0.00) 136.52 (+0.02) 153.85 (-0.03) 552.14 (-0.00)
870ba4 0.00 (0.00) 0.34 (-0.03) 0.19 (-0.14) 554.48 (+0.00) 133.46 (-0.02) 159.38 (+0.02) 554.48 (+0.00)
f5ca89 0.00 (0.00) 0.35 (+0.03) 0.22 (+0.05) 553.79 (-0.01) 136.54 (-0.00) 156.46 (-0.01) 553.79 (-0.01)
8bd565 0.00 (0.00) 0.34 (-0.06) 0.21 (+0.05) 557.25 (-0.00) 136.87 (-0.01) 158.37 (-0.00) 557.25 (-0.00)
dd22c8 0.00 (0.00) 0.36 (+0.06) 0.20 (-0.05) 557.95 (+0.00) 137.58 (+0.01) 158.89 (-0.01) 557.95 (+0.00)
299db9 0.00 (0.00) 0.34 (0.00) 0.21 (0.00) 555.40 (+0.00) 136.82 (+0.01) 159.99 (+0.05) 555.40 (+0.00)
93f3f4 0.00 (0.00) 0.34 (0.00) 0.21 (-0.05) 553.60 (+0.00) 134.98 (-0.01) 152.01 (-0.01) 553.60 (+0.00)
f6e2e0 0.00 (0.00) 0.34 (-0.03) 0.22 (+0.10) 551.83 (-0.00) 136.39 (+0.01) 153.75 (-0.05) 551.83 (-0.00)
f6e2e0 0.00 (0.00) 0.35 (+0.03) 0.20 (-0.05) 553.28 (-0.01) 135.40 (-0.01) 161.45 (+0.01) 553.28 (-0.01)
f6e2e0 0.00 (0.00) 0.34 (0.00) 0.21 (-0.05) 557.46 (-0.00) 136.82 (+0.00) 159.15 (-0.01) 557.47 (-0.00)
f1d960 0.00 (0.00) 0.34 (0.00) 0.22 (+0.10) 558.53 (+0.02) 136.50 (+0.02) 161.34 (+0.04) 558.53 (+0.02)
4a9279 0.00 (0.00) 0.34 (0.00) 0.20 (+0.11) 550.16 (-0.00) 133.87 (-0.01) 154.55 (+0.02) 550.16 (-0.00)
2e4bf7 0.00 (0.00) 0.34 (0.00) 0.18 (-0.14) 551.81 (-0.01) 135.77 (+0.01) 152.24 (-0.06) 551.81 (-0.01)
ce8fbb 0.00 (0.00) 0.34 (0.00) 0.21 (0.00) 559.12 (+0.01) 134.71 (-0.01) 162.19 (+0.05) 559.12 (+0.01)
ce8fbb 0.00 (0.00) 0.34 (-0.13) 0.21 (-0.12) 553.53 (+0.00) 135.43 (+0.01) 154.25 (-0.03) 553.54 (+0.00)
ce8fbb 0.00 (0.00) 0.39 (+0.15) 0.24 (+0.20) 553.24 (+0.00) 134.36 (-0.01) 158.94 (+0.05) 553.24 (+0.00)
d1a0f2 0.00 (0.00) 0.34 (0.00) 0.20 (-0.09) 550.62 (+0.00) 135.14 (+0.01) 151.54 (+0.00) 550.62 (+0.00)
ccf92d 0.00 (0.00) 0.34 (+0.03) 0.22 (+0.05) 550.20 (-0.00) 133.51 (+0.01) 151.20 (-0.01) 550.20 (-0.00)
02b8e0 0.00 (0.00) 0.33 (-0.03) 0.21 (-0.25) 551.47 (-0.01) 131.80 (-0.03) 152.75 (-0.02) 551.47 (-0.01)
7b9057 0.00 (0.00) 0.34 (-0.03) 0.28 (+0.22) 555.03 (-0.01) 135.81 (-0.01) 155.43 (-0.03) 555.03 (-0.01)
9cada8 0.00 (0.00) 0.35 (+0.03) 0.23 (+0.05) 559.00 (+0.01) 136.75 (+0.02) 160.05 (+0.02) 559.00 (+0.01)
9cada8 0.00 (0.00) 0.34 (0.00) 0.22 (+0.10) 554.36 (+0.01) 133.44 (+0.02) 156.64 (+0.01) 554.36 (+0.01)
9cada8 0.00 (0.00) 0.34 (-0.11) 0.20 (-0.09) 550.26 (-0.01) 130.45 (-0.01) 155.15 (+0.00) 550.26 (-0.01)
a60f68 0.00 (0.00) 0.38 (+0.12) 0.22 (+0.10) 553.80 (+0.01) 132.15 (-0.01) 154.72 (+0.02) 553.80 (+0.01)
d19c52 0.00 (0.00) 0.34 (0.00) 0.20 (0.00) 547.39 (-0.01) 133.60 (-0.00) 151.00 (-0.00) 547.39 (-0.01)
000eb1 0.00 (0.00) 0.34 (0.00) 0.20 (+0.11) 550.34 (-0.01) 133.90 (-0.01) 151.49 (-0.04) 550.34 (-0.01)
000eb1 0.00 (0.00) 0.34 (0.00) 0.18 (-0.14) 555.60 (+0.01) 135.46 (+0.01) 158.18 (+0.04) 555.60 (+0.01)
f51b48 0.00 (0.00) 0.34 (0.00) 0.21 (0.00) 548.37 (-0.01) 133.69 (+0.02) 151.56 (-0.03) 548.37 (-0.01)
f51b48 0.00 (0.00) 0.34 (0.00) 0.21 (+0.11) 551.76 (-0.00) 131.25 (-0.01) 156.66 (+0.00) 551.76 (-0.00)
f51b48 0.00 (0.00) 0.34 (-0.06) 0.19 (0.00) 553.04 (+0.00) 132.41 (-0.01) 155.99 (+0.02) 553.04 (+0.00)
9f906f 0.00 (0.00) 0.36 (+0.06) 0.19 (+0.06) 551.19 (-0.01) 133.82 (-0.01) 152.54 (-0.03) 551.19 (-0.01)
0692ff 0.00 (0.00) 0.34 (0.00) 0.18 (-0.22) 555.49 (+0.00) 134.95 (+0.01) 156.81 (+0.00) 555.49 (+0.00)
2caece 0.00 (0.00) 0.34 (+0.03) 0.23 (-0.52) 554.28 (+0.01) 133.29 (-0.00) 156.16 (+0.01) 554.28 (+0.01)
bc7d3c 0.00 (0.00) 0.33 (-0.03) 0.48 (+1.40) 551.16 (-0.00) 133.74 (+0.01) 154.59 (-0.00) 551.16 (-0.00)
2153d2 0.00 (0.00) 0.34 (0.00) 0.20 (+0.05) 552.28 (-0.01) 132.55 (-0.04) 154.95 (-0.03) 552.29 (-0.01)
2153d2 0.00 (0.00) 0.34 (0.00) 0.19 (-0.10) 559.24 (+0.01) 137.67 (+0.03) 158.96 (+0.04) 559.24 (+0.01)
2153d2 0.00 (0.00) 0.34 (0.00) 0.21 (+0.11) 554.47 (-0.00) 134.20 (-0.01) 152.18 (-0.03) 554.47 (-0.00)
2153d2 0.00 (0.00) 0.34 (0.00) 0.19 (-0.14) 555.09 (+0.00) 135.49 (+0.01) 157.29 (+0.00) 555.09 (+0.00)
a1b062 0.00 (0.00) 0.34 (0.00) 0.22 (-0.08) 553.40 (-0.01) 133.87 (-0.02) 156.95 (+0.03) 553.40 (-0.01)
1d9d7c 0.00 (0.00) 0.34 (-0.03) 0.24 (+0.26) 557.27 (-0.00) 136.61 (+0.00) 152.90 (-0.05) 557.27 (-0.00)
3569c1 0.00 (0.00) 0.35 (0.00) 0.19 (-0.14) 559.29 (+0.01) 136.57 (+0.03) 160.74 (+0.04) 559.29 (+0.01)
eaff14 0.00 (0.00) 0.35 (0.00) 0.22 (+0.10) 551.17 (-0.01) 131.98 (-0.03) 155.19 (-0.03) 551.17 (-0.01)
f383b4 0.00 (0.00) 0.35 (+0.03) 0.20 (-0.05) 558.35 (+0.01) 135.83 (+0.00) 159.63 (+0.06) 558.35 (+0.01)
f383b4 0.00 (0.00) 0.34 (0.00) 0.21 (+0.05) 554.52 (-0.00) 135.63 (+0.00) 150.84 (-0.00) 554.52 (-0.00)
f383b4 0.00 (0.00) 0.34 (0.00) 0.20 (-0.05) 555.36 (-0.01) 135.61 (+0.00) 151.37 (-0.05) 555.36 (-0.01)
a4256b 0.00 (0.00) 0.34 (0.00) 0.21 (0.00) 559.17 (+0.03) 134.97 (+0.02) 158.96 (+0.04) 559.17 (+0.03)
371493 0.00 (0.00) 0.34 (0.00) 0.21 (-0.22) 544.10 (-0.01) 131.96 (+0.00) 152.90 (-0.00) 544.10 (-0.01)
c5c143 0.00 (0.00) 0.34 (0.00) 0.27 (+0.23) 548.34 (-0.01) 131.85 (-0.02) 153.09 (-0.04) 548.34 (-0.01)
58fa4f 0.00 (0.00) 0.34 (0.00) 0.22 (0.00) 554.78 (+0.01) 134.41 (+0.02) 159.93 (+0.00) 554.78 (+0.01)
121d53 0.00 (0.00) 0.34 (0.00) 0.22 (0.00) 550.51 (-0.01) 131.19 (-0.03) 159.40 (-0.00) 550.51 (-0.01)
121d53 0.00 (0.00) 0.34 (0.00) 0.22 (+0.10) 556.86 (+0.01) 135.21 (+0.02) 160.14 (+0.01) 556.87 (+0.01)
ec3a3a 0.00 (0.00) 0.34 (0.00) 0.20 (0.00) 551.33 (+0.01) 132.54 (+0.00) 158.06 (+0.05) 551.33 (+0.01)
96e783 0.00 (0.00) 0.34 (0.00) 0.20 (0.00) 544.13 (-0.02) 132.17 (-0.02) 151.22 (-0.01) 544.13 (-0.02)
567b71 0.00 (0.00) 0.34 (0.00) 0.20 (-0.05) 552.49 (+0.00) 134.37 (-0.00) 153.47 (-0.01) 552.49 (+0.00)
847fc5 0.00 (0.00) 0.34 (0.00) 0.21 (-0.60) 550.70 (-0.00) 134.56 (+0.03) 154.68 (-0.02) 550.70 (-0.00)
5e08b3 0.00 (0.00) 0.34 (0.00) 0.53 (+1.21) 552.16 (+0.00) 130.94 (-0.02) 157.06 (-0.01) 552.17 (+0.00)
ddb9c2 0.00 (0.00) 0.34 (0.00) 0.24 (+0.14) 551.03 (-0.00) 133.85 (0.00) 158.25 (+0.03) 551.03 (-0.00)
4d291d 0.00 (0.00) 0.34 (0.00) 0.21 (+0.05) 553.02 (+0.01) 133.85 (+0.01) 153.52 (-0.02) 553.02 (+0.01)
4d291d 0.00 (0.00) 0.34 (0.00) 0.20 (-0.05) 546.26 (-0.01) 133.09 (-0.01) 156.55 (+0.00) 546.26 (-0.01)
bf63f1 0.00 (0.00) 0.34 (0.00) 0.21 (-0.16) 550.17 (-0.00) 135.06 (+0.01) 156.44 (-0.02) 550.17 (-0.00)
0a0958 0.00 (0.00) 0.34 (+0.03) 0.25 (+0.25) 550.63 (-0.00) 133.97 (-0.01) 159.29 (+0.01) 550.63 (-0.00)
aabca5 0.00 (0.00) 0.33 (0.00) 0.20 (-0.53) 552.47 (-0.00) 134.86 (-0.01) 158.12 (+0.00) 552.48 (-0.00)
a4be54 0.00 (0.00) 0.33 (0.00) 0.43 (+1.15) 554.81 (+0.00) 136.85 (+0.01) 157.76 (+0.00) 554.81 (+0.00)
a3d7ad 0.00 (0.00) 0.33 (-0.03) 0.20 (0.00) 552.78 (-0.00) 135.82 (+0.00) 157.28 (+0.03) 552.79 (-0.00)
a3d7ad 0.00 (0.00) 0.34 (0.00) 0.20 (0.00) 553.72 (-0.00) 135.62 (-0.00) 153.37 (-0.03) 553.72 (-0.00)
a3d7ad 0.00 (0.00) 0.34 (0.00) 0.20 (0.00) 555.00 (+0.01) 135.72 (+0.02) 158.27 (-0.00) 555.00 (+0.01)
8ba169 0.00 (0.00) 0.34 (0.00) 0.20 (0.00) 551.78 (+0.01) 133.04 (-0.02) 158.40 (+0.03) 551.78 (+0.01)
e5cc2f 0.00 (0.00) 0.34 (+0.03) 0.20 (0.00) 548.03 (-0.00) 135.59 (-0.01) 153.63 (+0.03) 548.04 (-0.00)
c6b56d 0.00 (0.00) 0.33 (0.00) 0.20 (-0.55) 549.85 (+0.01) 136.90 (+0.06) 149.84 (-0.02) 549.85 (+0.01)
e067cd 0.00 (0.00) 0.33 (-0.08) 0.44 (-0.12) 545.45 (-0.01) 129.01 (-0.05) 152.74 (+0.02) 545.45 (-0.01)
bce423 0.00 (0.00) 0.36 (+0.09) 0.50 (+1.38) 548.81 (-0.01) 135.88 (+0.00) 149.51 (-0.04) 548.81 (-0.01)
bce423 0.00 (0.00) 0.33 (-0.03) 0.21 (+0.11) 553.71 (+0.01) 135.38 (-0.00) 155.51 (+0.02) 553.71 (+0.01)
bce423 0.00 (0.00) 0.34 (+0.03) 0.19 (-0.05) 550.24 (+0.00) 135.67 (+0.00) 152.61 (+0.00) 550.24 (+0.00)
c28bfd 0.00 (0.00) 0.33 (-0.03) 0.20 (+0.05) 548.42 (-0.01) 135.00 (+0.02) 152.20 (-0.04) 548.42 (-0.01)
95bf19 0.00 (0.00) 0.34 (+0.03) 0.19 (0.00) 553.89 (+0.01) 132.75 (+0.01) 159.18 (+0.02) 553.90 (+0.01)
95bf19 0.00 (0.00) 0.33 (0.00) 0.19 (-0.61) 551.05 (+0.00) 130.99 (-0.03) 156.31 (+0.03) 551.05 (+0.00)
080752 0.00 (0.00) 0.33 (-0.03) 0.49 (+1.58) 550.53 (+0.00) 135.22 (+0.03) 151.95 (-0.01) 550.53 (+0.00)
23d5e2 0.00 (0.00) 0.34 (+0.03) 0.19 (+0.06) 548.94 (-0.01) 131.63 (-0.03) 154.00 (-0.02) 548.94 (-0.01)
23d5e2 0.00 (0.00) 0.33 (-0.03) 0.18 (-0.10) 554.57 (-0.01) 135.67 (+0.01) 156.78 (-0.04) 554.57 (-0.01)
23d5e2 0.00 (0.00) 0.34 (0.00) 0.20 (-0.29) 560.92 (+0.02) 134.74 (-0.01) 163.22 (+0.07) 560.92 (+0.02)
8b710b 0.00 (0.00) 0.34 (+0.03) 0.28 (+0.47) 550.98 (-0.00) 135.79 (+0.01) 152.13 (-0.01) 550.98 (-0.00)
8c6e60 0.00 (0.00) 0.33 (0.00) 0.19 (-0.05) 552.56 (-0.00) 134.44 (+0.01) 153.56 (-0.00) 552.56 (-0.00)
10dae7 0.00 (0.00) 0.33 (-0.03) 0.20 (+0.18) 552.96 (+0.01) 133.08 (+0.01) 154.03 (+0.00) 552.96 (+0.01)
4c4d3d 0.00 (0.00) 0.34 (+0.03) 0.17 (-0.15) 546.83 (-0.01) 131.35 (+0.01) 153.39 (-0.01) 546.83 (-0.01)
9f94d0 0.00 (0.00) 0.33 (-0.03) 0.20 (-0.20) 550.85 (-0.01) 130.22 (-0.02) 155.60 (-0.02) 550.85 (-0.01)
9f94d0 0.00 (0.00) 0.34 (+0.03) 0.25 (+0.32) 555.04 (-0.01) 132.29 (-0.03) 159.03 (-0.02) 555.04 (-0.01)
9f94d0 0.00 (0.00) 0.33 (-0.03) 0.19 (-0.05) 559.01 (+0.01) 135.85 (+0.04) 162.49 (+0.02) 559.01 (+0.01)
c700c7 0.00 (0.00) 0.34 (0.00) 0.20 (0.00) 553.10 (-0.01) 131.05 (-0.03) 159.91 (+0.01) 553.11 (-0.01)
42c6dd 0.00 (0.00) 0.34 (0.00) 0.20 (+0.05) 556.06 (-0.02) 134.45 (-0.01) 158.43 (-0.05) 556.07 (-0.02)
f6bf7b 0.00 (0.00) 0.34 (+0.03) 0.19 (-0.60) 565.10 (+0.02) 135.69 (+0.03) 167.40 (+0.03) 565.10 (+0.02)
1137b5 0.00 (0.00) 0.33 (-0.03) 0.47 (+1.35) 553.80 (+0.00) 131.50 (-0.00) 161.97 (+0.06) 553.80 (+0.00)
1468c6 0.00 (0.00) 0.34 (0.00) 0.20 (-0.05) 551.12 (-0.01) 131.83 (-0.01) 153.19 (-0.05) 551.12 (-0.01)
1468c6 0.00 (0.00) 0.34 (+0.03) 0.21 (+0.17) 555.89 (+0.00) 132.89 (-0.00) 161.49 (+0.03) 555.89 (+0.00)
1468c6 0.00 (0.00) 0.33 (0.00) 0.18 (-0.10) 553.23 (-0.00) 133.04 (-0.01) 156.32 (-0.00) 553.23 (-0.00)
c01f92 0.00 (0.00) 0.33 (-0.03) 0.20 (-0.05) 554.65 (+0.00) 134.10 (+0.02) 156.55 (-0.02) 554.65 (+0.00)
7ff591 0.00 (0.00) 0.34 (0.00) 0.21 (+0.05) 554.55 (-0.01) 131.08 (-0.04) 158.99 (+0.02) 554.56 (-0.01)
5d4774 0.00 (0.00) 0.34 (0.00) 0.20 (-0.05) 558.76 (+0.01) 136.96 (+0.02) 156.28 (-0.00) 558.76 (+0.01)
56d8c2 0.00 (0.00) 0.34 (+0.03) 0.21 (-0.63) 551.15 (-0.01) 134.18 (+0.01) 157.00 (-0.02) 551.15 (-0.01)
12e6f4 0.00 (0.00) 0.33 (-0.03) 0.57 (+2.00) 554.48 (+0.00) 132.69 (+0.02) 160.73 (+0.02) 554.48 (+0.00)
12e6f4 0.00 (0.00) 0.34 (0.00) 0.19 (-0.10) 553.43 (-0.00) 129.61 (-0.02) 156.95 (-0.00) 553.43 (-0.00)
12e6f4 0.00 (-1.00) 0.34 (-0.03) 0.21 (+0.05) 556.05 (-0.49) 132.37 (-0.11) 157.64 (-0.13) 556.05 (-0.49)
61194a 751.04 (+0.01) 0.35 (+0.03) 0.20 (-0.17) 1082.16 (+0.01) 149.17 (+0.03) 180.85 (+0.01) 1082.16 (+0.01)
70ce01 741.94 (+0.00) 0.34 (0.00) 0.24 (+0.26) 1067.88 (-0.01) 145.24 (-0.03) 179.57 (-0.05) 1067.88 (-0.01)
c04c20 739.51 (+0.00) 0.34 (0.00) 0.19 (+0.06) 1080.12 (+0.01) 150.01 (+0.03) 189.52 (+0.03) 1080.12 (+0.01)
827ee1 736.75 (+0.00) 0.34 (+0.03) 0.18 (-0.05) 1068.19 (+0.00) 146.31 (-0.03) 184.07 (+0.02) 1068.19 (+0.00)
22ae67 734.83 (-0.01) 0.33 (0.00) 0.19 (0.00) 1068.04 (-0.01) 151.48 (+0.02) 180.67 (-0.02) 1068.04 (-0.01)
0f4458 742.73 (-0.01) 0.33 (-0.03) 0.19 (-0.05) 1076.30 (-0.01) 148.40 (-0.00) 184.10 (-0.02) 1076.30 (-0.01)
b8a566 752.49 (-0.00) 0.34 (0.00) 0.20 (-0.41) 1091.23 (+0.01) 149.00 (+0.01) 188.64 (+0.04) 1091.23 (+0.01)
9747e9 752.94 (+1.12) 0.34 (+1.62) 0.34 (+0.06) 1082.63 (+0.59) 147.59 (+0.01) 180.86 (+0.00) 1082.63 (+0.59)
b50e07 354.68 (-0.03) 0.13 (0.00) 0.32 (+1.46) 682.11 (-0.02) 146.52 (-0.03) 180.28 (-0.02) 682.11 (-0.02)
6a57d5 365.11 (+0.06) 0.13 (+0.08) 0.13 (+1.60) 699.32 (+0.03) 150.46 (-0.01) 183.30 (-0.01) 699.33 (+0.03)
c0480f 344.52 (-0.02) 0.12 (-0.08) 0.05 (-0.88) 681.89 (+0.01) 152.15 (+0.04) 184.87 (+0.06) 681.89 (+0.01)
4f443c 351.75 (+0.05) 0.13 (+0.08) 0.41 (+0.14) 673.46 (+0.01) 146.38 (-0.00) 174.61 (-0.05) 673.47 (+0.01)
4f443c 335.11 (-0.06) 0.12 (-0.08) 0.36 (+0.03) 666.04 (-0.04) 146.93 (-0.03) 183.35 (-0.00) 666.04 (-0.04)
788823 358.31 (+0.00) 0.13 (0.00) 0.35 (+0.06) 694.71 (+0.01) 152.07 (+0.02) 183.65 (+0.01) 694.71 (+0.01)
c21104 357.12 (+0.04) 0.13 (+0.08) 0.33 (0.00) 688.79 (+0.04) 148.77 (+0.02) 182.25 (+0.05) 688.79 (+0.04)
b9544a 344.27 (-0.05) 0.12 (-0.08) 0.33 (-0.08) 663.00 (-0.04) 145.20 (-0.01) 172.91 (-0.04) 663.00 (-0.04)
33834c 361.96 (+0.02) 0.13 (0.00) 0.36 (-0.16) 689.71 (+0.01) 146.36 (-0.00) 180.70 (+0.01) 689.71 (+0.01)
521667 354.98 (+0.00) 0.13 (0.00) 0.43 (-0.17) 681.06 (+0.01) 146.66 (-0.00) 178.68 (+0.03) 681.06 (+0.01)
c14cc8 354.08 (-0.05) 0.13 (-0.07) 0.52 (+0.44) 674.73 (-0.03) 146.75 (-0.02) 173.07 (-0.01) 674.73 (-0.03)
480175 371.98 (+0.10) 0.14 (+0.17) 0.36 (+0.06) 696.74 (+0.05) 149.43 (+0.00) 174.62 (+0.00) 696.74 (+0.05)
361648 338.15 (-0.10) 0.12 (-0.14) 0.34 (-0.35) 662.48 (-0.05) 149.30 (+0.01) 174.39 (-0.01) 662.48 (-0.05)
480175 374.27 (+0.08) 0.14 (+0.17) 0.52 (+2.47) 699.12 (+0.04) 148.34 (-0.01) 175.64 (-0.02) 699.12 (+0.04)
ae53dc 346.74 (+0.05) 0.12 (0.00) 0.15 (-0.72) 675.02 (+0.03) 149.14 (+0.02) 178.68 (-0.01) 675.02 (+0.03)
05db64 329.17 (-0.06) 0.12 (-0.08) 0.53 (-0.02) 657.21 (-0.03) 146.22 (+0.00) 181.00 (+0.00) 657.21 (-0.03)
37625c 349.24 (+0.02) 0.13 (+0.08) 0.54 (+3.50) 676.36 (+0.01) 145.66 (-0.01) 180.61 (-0.02) 676.37 (+0.01)
a5b898 340.74 0.12 0.12 672.91 147.83 183.93 672.91

Runs for test_runner/performance/test_perf_pgbench.py::test_pgbench_remote_simple_update[3600-684]

platform: rds-postgres
scale: 684
simple-update.number_of_clients: 4
simple-update.number_of_threads: 1
simple-update.number_of_transactions_actually_processed: 118738
simple-update.run_end_timestamp: 1669097772
simple-update.run_start_timestamp: 1669094172
simple-update.scale: 684

revision simple-update.latency_average simple-update.latency_stddev simple-update.run_duration simple-update.tps total_duration
e43cde 4.36 (+0.13) 4.14 (-0.18) 3600.06 (-0.00) 916.57 (-0.11) 3600.06 (-0.00)
6b1c4c 3.87 (-0.11) 5.04 (+0.23) 3600.07 (+0.00) 1032.51 (+0.13) 3600.07 (+0.00)
5d13a2 4.36 (-0.25) 4.11 (+0.67) 3600.06 (-0.00) 917.42 (+0.33) 3600.06 (-0.00)
f7249b 5.79 (+0.51) 2.46 (-0.55) 3600.07 (+0.00) 691.22 (-0.34) 3600.07 (+0.00)
306c4f 3.85 (+0.01) 5.42 (+0.01) 3600.06 (-0.00) 1039.55 (-0.01) 3600.06 (-0.00)
bd5934 3.81 (-0.02) 5.38 (+0.07) 3600.06 (-0.00) 1049.27 (+0.02) 3600.06 (-0.00)
b1a112 3.88 (+0.02) 5.04 (-0.05) 3600.06 (-0.00) 1031.80 (-0.02) 3600.06 (-0.00)
99c159 3.79 (-0.14) 5.31 (+0.40) 3600.07 (-0.00) 1055.08 (+0.16) 3600.07 (-0.00)
ea5a97 4.38 (+0.01) 3.80 (+0.06) 3600.07 (+0.00) 912.24 (-0.01) 3600.07 (+0.00)
89275f 4.32 (+0.11) 3.57 (-0.31) 3600.06 (-0.00) 925.84 (-0.10) 3600.06 (-0.00)
6d33d8 3.88 (-0.09) 5.15 (+0.27) 3600.06 (+0.00) 1030.32 (+0.10) 3600.06 (+0.00)
a7f4ee 4.25 (+0.15) 4.07 (-0.20) 3600.06 (+0.00) 940.02 (-0.13) 3600.06 (-0.00)
6f28da 3.69 (-0.34) 5.06 (+2.01) 3600.06 (-0.00) 1083.08 (+0.51) 3600.06 (-0.00)
41aa62 5.57 (+0.50) 1.68 (-0.67) 3600.07 (+0.00) 718.64 (-0.33) 3600.07 (+0.00)
7b5489 3.71 (-0.34) 5.15 (+1.88) 3600.07 (+0.00) 1078.82 (+0.51) 3600.07 (+0.00)
a23b07 5.59 (+0.52) 1.79 (-0.65) 3600.06 (+0.00) 715.37 (-0.34) 3600.06 (+0.00)
cc2d00 3.69 (+0.00) 5.08 (-0.00) 3600.06 (+0.00) 1083.99 (-0.00) 3600.06 (+0.00)
ba9df2 3.68 (-0.10) 5.09 (+0.43) 3600.06 (+0.00) 1086.73 (+0.11) 3600.06 (+0.00)
a8f354 4.10 (-0.99) 3.55 (-0.21) 3600.06 (-0.00) 974.71 (+95.83) 3600.06 (-0.00)
7feb0d 397.36 (+0.02) 4.49 (-0.00) 3601.37 (+0.00) 10.07 (-0.02) 3601.37 (+0.00)
982fce 390.57 (+0.00) 4.50 (-0.14) 3601.13 (-0.00) 10.24 (-0.00) 3601.13 (-0.00)
1f151d 390.54 (-0.02) 5.26 (+0.03) 3601.39 (-0.00) 10.24 (+0.02) 3601.39 (-0.00)
ff1a1a 398.02 (+0.00) 5.09 (+0.26) 3601.40 (+0.00) 10.05 (-0.00) 3601.40 (+0.00)
b1477b 397.55 (+0.01) 4.03 (-0.39) 3601.08 (-0.00) 10.06 (-0.01) 3601.08 (-0.00)
1b947f 394.99 (+0.01) 6.62 (+0.39) 3601.29 (+0.00) 10.13 (-0.01) 3601.29 (+0.00)
a21b55 390.78 (-0.00) 4.76 (+0.15) 3601.19 (-0.00) 10.24 (+0.00) 3601.19 (-0.00)
4ba950 390.83 (-0.00) 4.14 (-0.15) 3601.40 (+0.00) 10.23 (-0.00) 3601.40 (+0.00)
4e359d 390.88 (-0.01) 4.88 (+0.27) 3601.28 (+0.00) 10.23 (+0.01) 3601.28 (+0.00)
3837fc 394.19 (+0.01) 3.85 (-0.01) 3601.27 (-0.00) 10.15 (-0.01) 3601.27 (-0.00)
edcf4d 390.90 (+0.00) 3.88 (-0.45) 3601.38 (+0.00) 10.23 (-0.00) 3601.38 (+0.00)
411c71 390.69 (-0.01) 7.06 (-0.49) 3601.29 (-0.00) 10.24 (+0.01) 3601.29 (-0.00)
854348 394.13 (+0.00) 13.82 (+0.43) 3601.35 (+0.00) 10.15 (-0.00) 3601.36 (+0.00)
7ba5c2 394.02 (+0.00) 9.65 (-0.16) 3601.34 (+0.00) 10.15 (-0.00) 3601.34 (+0.00)
ebea29 393.94 (+0.01) 11.45 (-0.07) 3601.28 (-0.00) 10.15 (-0.01) 3601.28 (-0.00)
22c890 390.98 (+0.00) 12.35 (+0.21) 3601.37 (+0.00) 10.23 (-0.00) 3601.37 (+0.00)
f0b2e0 390.85 (-0.00) 10.19 (+0.10) 3601.23 (+0.00) 10.23 (+0.00) 3601.23 (+0.00)
dec580 391.38 (+0.00) 9.23 (-0.07) 3601.21 (-0.00) 10.22 (-0.00) 3601.21 (-0.00)
dec580 390.93 (-0.00) 9.97 (+0.28) 3601.27 (-0.00) 10.23 (+0.00) 3601.27 (-0.00)
b1c2a6 391.11 (-0.01) 7.76 (-0.32) 3601.29 (-0.00) 10.23 (+0.01) 3601.29 (-0.00)
931094 394.67 (+0.01) 11.40 (+0.27) 3601.39 (+0.00) 10.13 (-0.01) 3601.39 (+0.00)
957acb 391.02 (-0.01) 8.96 (-0.10) 3601.38 (+0.00) 10.23 (+0.01) 3601.38 (+0.00)
846532 394.77 (+0.00) 9.96 (+0.03) 3601.19 (-0.00) 10.13 (-0.00) 3601.19 (-0.00)
d733bc 394.26 (+0.01) 9.67 (-0.02) 3601.34 (+0.00) 10.15 (-0.01) 3601.34 (+0.00)
75ffe3 390.34 (-0.00) 9.86 (-0.03) 3601.34 (+0.00) 10.25 (+0.00) 3601.34 (+0.00)
75ffe3 390.67 (-0.00) 10.19 (+0.17) 3601.34 (+0.00) 10.24 (+0.00) 3601.34 (+0.00)
bf4623 390.77 (+0.01) 8.73 (-0.22) 3601.26 (-0.00) 10.24 (-0.01) 3601.26 (-0.00)
b26c83 385.98 (-0.02) 11.26 (+0.09) 3601.37 (+0.00) 10.36 (+0.02) 3601.37 (+0.00)
9d714a 395.14 (+0.00) 10.37 (+0.05) 3601.16 (-0.00) 10.12 (-0.00) 3601.16 (-0.00)
6efea4 394.31 (+0.02) 9.83 (-0.80) 3601.31 (+0.00) 10.14 (-0.02) 3601.31 (+0.00)
4071ff 388.17 (-0.01) 50.36 (+5.92) 3601.26 (+0.00) 10.30 (+0.01) 3601.26 (+0.00)
4071ff 390.75 (-0.01) 7.28 (-0.17) 3601.24 (+0.00) 10.24 (+0.01) 3601.25 (+0.00)
870ba4 393.83 (+0.01) 8.80 (+0.11) 3601.17 (-0.00) 10.16 (-0.01) 3601.17 (-0.00)
f5ca89 390.80 (-0.01) 7.92 (+0.60) 3601.31 (-0.00) 10.24 (+0.01) 3601.31 (-0.00)
8bd565 393.71 (-0.00) 4.95 (+0.77) 3601.33 (+0.00) 10.16 (+0.00) 3601.33 (+0.00)
dd22c8 394.61 (+0.01) 2.79 (-0.55) 3601.25 (-0.00) 10.14 (-0.01) 3601.25 (-0.00)
299db9 390.63 (-0.01) 6.17 (-0.02) 3601.38 (+0.00) 10.24 (+0.01) 3601.38 (+0.00)
93f3f4 394.17 (+0.01) 6.29 (+0.19) 3601.13 (-0.00) 10.15 (-0.01) 3601.13 (-0.00)
f6e2e0 390.62 (+0.00) 5.28 (-0.11) 3601.37 (+0.00) 10.24 (-0.00) 3601.37 (+0.00)
f6e2e0 390.56 (-0.00) 5.94 (+0.09) 3601.14 (-0.00) 10.24 (+0.00) 3601.14 (-0.00)
f6e2e0 390.90 (-0.00) 5.47 (-0.06) 3601.32 (-0.00) 10.23 (+0.00) 3601.32 (-0.00)
f1d960 392.66 (-0.00) 5.84 (-0.67) 3601.37 (+0.00) 10.19 (+0.00) 3601.37 (+0.00)
4a9279 394.09 (+0.01) 17.73 (+1.56) 3601.37 (+0.00) 10.15 (-0.01) 3601.37 (+0.00)
2e4bf7 390.40 (-0.00) 6.93 (+0.12) 3601.35 (+0.00) 10.25 (+0.00) 3601.36 (+0.00)
ce8fbb 390.69 (+0.00) 6.20 (+0.12) 3601.24 (-0.00) 10.24 (-0.00) 3601.24 (-0.00)
ce8fbb 390.20 (+0.00) 5.54 (-0.21) 3601.31 (-0.00) 10.25 (-0.00) 3601.31 (-0.00)
ce8fbb 390.12 (+0.02) 7.02 (-0.29) 3601.42 (+0.00) 10.25 (-0.02) 3601.42 (+0.00)
d1a0f2 382.35 (-0.02) 9.83 (+0.31) 3601.30 (-0.00) 10.46 (+0.02) 3601.30 (-0.00)
ccf92d 390.39 (+0.01) 7.51 (+0.14) 3601.36 (+0.00) 10.25 (-0.01) 3601.36 (+0.00)
02b8e0 385.65 (-0.01) 6.59 (-0.12) 3601.25 (-0.00) 10.37 (+0.01) 3601.25 (-0.00)
7b9057 390.56 (-0.01) 7.45 (-0.54) 3601.30 (+0.00) 10.24 (+0.01) 3601.30 (+0.00)
9cada8 394.06 (+0.01) 16.34 (+1.17) 3601.22 (-0.00) 10.15 (-0.01) 3601.22 (-0.00)
9cada8 390.52 (-0.00) 7.52 (+0.36) 3601.28 (-0.00) 10.24 (+0.00) 3601.28 (-0.00)
9cada8 390.61 (-0.08) 5.53 (-0.29) 3601.34 (+0.00) 10.24 (+0.09) 3601.34 (+0.00)
a60f68 425.62 (+0.09) 7.76 (-0.03) 3601.22 (-0.00) 9.40 (-0.08) 3601.22 (-0.00)
d19c52 390.49 (-0.00) 7.96 (+0.33) 3601.32 (+0.00) 10.24 (+0.00) 3601.32 (+0.00)
000eb1 390.71 (+0.00) 5.98 (-0.23) 3601.31 (-0.00) 10.24 (+0.00) 3601.31 (-0.00)
000eb1 390.63 (+0.00) 7.75 (+0.21) 3601.33 (-0.00) 10.24 (-0.00) 3601.33 (-0.00)
f51b48 390.59 (-0.00) 6.42 (-0.37) 3601.38 (+0.00) 10.24 (+0.00) 3601.38 (+0.00)
f51b48 390.64 (+0.00) 10.23 (+0.05) 3601.15 (-0.00) 10.24 (-0.00) 3601.15 (-0.00)
f51b48 390.39 (-0.00) 9.78 (+0.27) 3601.32 (+0.00) 10.25 (+0.00) 3601.32 (+0.00)
9f906f 390.87 (+0.00) 7.70 (+0.14) 3601.24 (-0.00) 10.23 (-0.00) 3601.24 (-0.00)
0692ff 390.60 (-0.00) 6.75 (-0.31) 3601.40 (+0.00) 10.24 (+0.00) 3601.40 (+0.00)
2caece 390.66 (-0.00) 9.85 (-0.06) 3601.38 (+0.00) 10.24 (+0.00) 3601.38 (+0.00)
bc7d3c 391.41 (+0.00) 10.45 (+0.08) 3601.23 (+0.00) 10.22 (-0.00) 3601.23 (-0.00)
2153d2 390.76 (+0.00) 9.65 (+1.64) 3601.23 (+0.00) 10.24 (-0.00) 3601.23 (+0.00)
2153d2 390.60 (+0.00) 3.66 (-0.48) 3601.05 (-0.00) 10.24 (-0.00) 3601.05 (-0.00)
2153d2 390.48 (-0.00) 7.10 (-0.14) 3601.23 (-0.00) 10.24 (+0.00) 3601.23 (-0.00)
a1b062 390.84 (+0.00) 8.26 (-0.12) 3601.23 (-0.00) 10.23 (-0.00) 3601.24 (-0.00)
1d9d7c 390.69 (+0.00) 9.42 (-0.23) 3601.35 (+0.00) 10.24 (-0.00) 3601.35 (+0.00)
3569c1 390.41 (-0.00) 12.20 (+0.27) 3601.32 (-0.00) 10.25 (+0.00) 3601.32 (-0.00)
eaff14 390.68 (+0.00) 9.59 (-0.16) 3601.35 (+0.00) 10.24 (-0.00) 3601.35 (+0.00)
f383b4 390.46 (-0.01) 11.36 (+0.10) 3601.25 (-0.00) 10.24 (+0.01) 3601.25 (-0.00)
f383b4 393.64 (-0.00) 10.36 (+0.09) 3601.37 (+0.00) 10.16 (+0.00) 3601.37 (+0.00)
f383b4 393.81 (+0.01) 9.54 (+0.24) 3601.07 (-0.00) 10.16 (-0.01) 3601.07 (-0.00)
a4256b 390.38 (-0.01) 7.68 (-0.32) 3601.27 (-0.00) 10.25 (+0.01) 3601.27 (-0.00)
371493 393.77 (+0.00) 11.29 (+0.58) 3601.34 (+0.00) 10.16 (+0.00) 3601.34 (+0.00)
c5c143 393.76 (+0.01) 7.16 (+0.14) 3601.33 (+0.00) 10.16 (-0.01) 3601.33 (+0.00)
58fa4f 390.51 (+0.00) 6.27 (-0.05) 3601.33 (+0.00) 10.24 (-0.00) 3601.33 (+0.00)
121d53 390.35 (-0.01) 6.61 (+0.03) 3601.18 (-0.00) 10.25 (+0.01) 3601.18 (-0.00)
ec3a3a 393.54 (-0.01) 6.44 (-0.95) 3601.38 (-0.00) 10.16 (+0.01) 3601.39 (-0.00)
96e783 397.22 (+0.02) 128.55 (+18.09) 3601.59 (+0.00) 10.07 (-0.02) 3601.59 (+0.00)
567b71 390.23 (-0.00) 6.73 (-0.24) 3601.12 (-0.00) 10.25 (+0.00) 3601.12 (-0.00)
847fc5 390.39 (+0.00) 8.82 (+0.41) 3601.23 (+0.00) 10.25 (+0.00) 3601.23 (+0.00)
5e08b3 390.33 (+0.00) 6.25 (-0.34) 3601.05 (-0.00) 10.25 (+0.00) 3601.05 (-0.00)
ddb9c2 390.31 (-0.00) 9.51 (+0.33) 3601.30 (-0.00) 10.25 (+0.00) 3601.30 (-0.00)
4d291d 390.43 (-0.00) 7.14 (+0.09) 3601.30 (-0.00) 10.25 (+0.00) 3601.30 (-0.00)
4d291d 390.50 (+0.01) 6.53 (-0.14) 3601.38 (+0.00) 10.24 (-0.01) 3601.38 (+0.00)
bf63f1 384.81 (+0.01) 7.63 (+0.10) 3601.37 (+0.00) 10.39 (-0.01) 3601.37 (+0.00)
0a0958 382.54 (-0.01) 6.93 (-0.63) 3601.25 (+0.00) 10.46 (+0.01) 3601.25 (+0.00)
aabca5 387.31 (+0.01) 18.88 (+1.73) 3601.24 (-0.00) 10.33 (-0.01) 3601.24 (-0.00)
a4be54 385.05 (+0.00) 6.93 (-0.06) 3601.33 (+0.00) 10.39 (-0.00) 3601.33 (+0.00)
a3d7ad 383.64 (-0.01) 7.35 (-0.08) 3601.32 (-0.00) 10.43 (+0.01) 3601.32 (-0.00)
a3d7ad 387.87 (+0.01) 7.98 (-0.49) 3601.34 (+0.00) 10.31 (-0.01) 3601.34 (+0.00)
a3d7ad 385.92 (-0.01) 15.75 (+0.80) 3601.17 (-0.00) 10.36 (+0.00) 3601.17 (-0.00)
8ba169 388.00 (+0.01) 8.77 (+0.33) 3601.37 (+0.00) 10.31 (-0.01) 3601.37 (+0.00)
e5cc2f 385.75 (-0.01) 6.62 (+0.09) 3601.32 (+0.00) 10.37 (+0.01) 3601.32 (+0.00)
c6b56d 388.99 (+0.00) 6.06 (+0.19) 3601.32 (+0.00) 10.28 (-0.00) 3601.32 (+0.00)
e067cd 388.26 (+0.01) 5.11 (-0.11) 3601.30 (-0.00) 10.30 (-0.01) 3601.30 (-0.00)
bce423 384.83 (-0.01) 5.72 (-0.02) 3601.33 (-0.00) 10.39 (+0.01) 3601.33 (-0.00)
bce423 389.76 (+0.01) 5.81 (-0.09) 3601.34 (-0.00) 10.26 (-0.01) 3601.34 (-0.00)
bce423 384.84 (-0.01) 6.39 (+0.14) 3601.36 (+0.00) 10.39 (+0.01) 3601.36 (+0.00)
c28bfd 387.23 (-0.00) 5.61 (-0.02) 3601.28 (-0.00) 10.33 (+0.00) 3601.28 (-0.00)
95bf19 388.08 (+0.01) 5.74 (+0.18) 3601.32 (+0.00) 10.31 (-0.00) 3601.33 (+0.00)
95bf19 386.04 (-0.00) 4.88 (-0.07) 3601.26 (-0.00) 10.36 (+0.00) 3601.26 (-0.00)
080752 386.81 (-0.00) 5.23 (-0.15) 3601.31 (-0.00) 10.34 (+0.00) 3601.31 (-0.00)
23d5e2 388.27 (-0.00) 6.14 (+0.45) 3601.37 (+0.00) 10.30 (+0.00) 3601.37 (+0.00)
23d5e2 389.06 (+0.00) 4.23 (-0.17) 3601.27 (-0.00) 10.28 (-0.00) 3601.28 (-0.00)
23d5e2 388.65 (-0.00) 5.11 (+0.07) 3601.28 (+0.00) 10.29 (+0.00) 3601.28 (+0.00)
8b710b 389.56 (+0.00) 4.79 (-0.40) 3601.21 (-0.00) 10.27 (-0.00) 3601.21 (-0.00)
8c6e60 387.83 (+0.01) 8.00 (+0.32) 3601.36 (+0.00) 10.31 (-0.01) 3601.36 (+0.00)
10dae7 385.90 (+0.01) 6.04 (+0.32) 3601.31 (+0.00) 10.37 (-0.01) 3601.31 (+0.00)
4c4d3d 383.71 (-0.00) 4.59 (+0.54) 3601.22 (-0.00) 10.42 (+0.00) 3601.22 (-0.00)
9f94d0 385.43 (-0.00) 2.98 (-0.19) 3601.36 (+0.00) 10.38 (+0.00) 3601.37 (+0.00)
9f94d0 386.48 (+0.00) 3.67 (+0.05) 3601.23 (-0.00) 10.35 (-0.00) 3601.23 (-0.00)
9f94d0 384.67 (-0.01) 3.49 (-0.07) 3601.29 (+0.00) 10.40 (+0.01) 3601.29 (+0.00)
c700c7 386.89 (+0.00) 3.76 (+0.02) 3601.28 (+0.00) 10.34 (-0.00) 3601.28 (+0.00)
42c6dd 386.02 (+0.00) 3.70 (-0.27) 3601.21 (-0.00) 10.36 (-0.00) 3601.21 (-0.00)
f6bf7b 385.17 (+0.00) 5.05 (+0.28) 3601.28 (-0.00) 10.38 (-0.00) 3601.28 (-0.00)
1137b5 384.23 (-0.00) 3.94 (-0.17) 3601.36 (+0.00) 10.41 (+0.00) 3601.36 (+0.00)
1468c6 384.94 (-0.01) 4.76 (+0.53) 3601.31 (+0.00) 10.39 (+0.01) 3601.31 (+0.00)
1468c6 387.37 (+0.01) 3.10 (-0.34) 3601.25 (-0.00) 10.33 (-0.01) 3601.25 (-0.00)
1468c6 384.75 (-0.00) 4.68 (-0.20) 3601.36 (+0.00) 10.40 (+0.00) 3601.37 (+0.00)
c01f92 386.24 (+0.00) 5.82 (+0.30) 3601.29 (+0.00) 10.36 (-0.00) 3601.29 (+0.00)
7ff591 384.67 (-0.01) 4.47 (+0.18) 3601.21 (-0.00) 10.40 (+0.01) 3601.21 (-0.00)
5d4774 386.83 (-0.00) 3.79 (+0.09) 3601.34 (+0.00) 10.34 (+0.00) 3601.34 (+0.00)
56d8c2 387.03 (+0.00) 3.47 (-0.10) 3601.33 (+0.00) 10.33 (-0.00) 3601.33 (+0.00)
12e6f4 387.03 (+0.00) 3.84 (-0.18) 3601.08 (+0.00) 10.34 (-0.00) 3601.08 (+0.00)
12e6f4 385.88 (+0.01) 4.70 (-0.02) 3601.08 (-0.00) 10.37 (-0.01) 3601.08 (-0.00)
12e6f4 382.55 (-0.01) 4.79 (-0.15) 3601.30 (+0.00) 10.46 (+0.02) 3601.30 (+0.00)
61194a 388.26 (+0.00) 5.63 (-0.16) 3601.20 (-0.00) 10.30 (-0.01) 3601.21 (-0.00)
70ce01 386.34 (+0.00) 6.70 (+0.59) 3601.21 (+0.00) 10.35 (-0.00) 3601.21 (+0.00)
c04c20 385.38 (+0.00) 4.21 (-0.16) 3601.21 (-0.00) 10.38 (-0.00) 3601.21 (-0.00)
827ee1 384.75 (+0.00) 5.03 (-0.41) 3601.29 (+0.00) 10.40 (-0.00) 3601.29 (+0.00)
22ae67 383.42 (-0.00) 8.58 (+0.45) 3601.19 (-0.00) 10.43 (+0.00) 3601.19 (-0.00)
0f4458 385.29 (-0.01) 5.91 (+0.16) 3601.26 (-0.00) 10.38 (+0.01) 3601.27 (-0.00)
b8a566 387.85 (-0.00) 5.09 (-0.42) 3601.36 (+0.00) 10.31 (+0.00) 3601.36 (+0.00)
9747e9 388.01 (+1.95) 8.80 (+0.16) 3601.17 (+0.00) 10.31 (-0.66) 3601.17 (+0.00)
b50e07 131.33 (+0.03) 7.58 (+0.12) 3600.48 (+0.00) 30.46 (-0.03) 3600.48 (+0.00)
6a57d5 127.86 (+0.01) 6.79 (-0.24) 3600.44 (-0.00) 31.28 (-0.01) 3600.44 (-0.00)
c0480f 126.07 (-0.03) 8.99 (-0.07) 3600.47 (-0.00) 31.73 (+0.03) 3600.48 (-0.00)
4f443c 129.96 (+0.05) 9.67 (+0.77) 3600.51 (+0.00) 30.78 (-0.05) 3600.51 (+0.00)
4f443c 123.48 (-0.03) 5.47 (-0.22) 3600.46 (+0.00) 32.39 (+0.03) 3600.46 (+0.00)
788823 126.91 (-0.02) 6.97 (+0.02) 3600.43 (-0.00) 31.52 (+0.03) 3600.43 (-0.00)
c21104 130.13 (+0.01) 6.84 (-0.04) 3600.47 (+0.00) 30.74 (-0.01) 3600.47 (+0.00)
b9544a 129.32 (+0.02) 7.15 (+0.60) 3600.47 (+0.00) 30.93 (-0.02) 3600.47 (+0.00)
33834c 126.18 (+0.00) 4.48 (+0.06) 3600.46 (+0.00) 31.70 (-0.00) 3600.47 (+0.00)
521667 126.05 (+0.04) 4.21 (+0.03) 3600.46 (+0.00) 31.73 (-0.04) 3600.46 (+0.00)
c14cc8 121.26 (-0.08) 4.10 (-0.28) 3600.46 (+0.00) 32.99 (+0.09) 3600.46 (+0.00)
480175 131.56 (+0.06) 5.72 (-0.13) 3600.45 (-0.00) 30.40 (-0.06) 3600.45 (-0.00)
361648 123.85 (-0.03) 6.56 (-0.00) 3600.48 (+0.00) 32.30 (+0.03) 3600.48 (+0.00)
480175 127.10 (-0.03) 6.58 (-0.31) 3600.47 (-0.00) 31.47 (+0.03) 3600.47 (-0.00)
ae53dc 131.22 (+0.03) 9.59 (+0.39) 3600.48 (+0.00) 30.48 (-0.03) 3600.48 (+0.00)
05db64 126.93 (+0.03) 6.88 (+0.61) 3600.46 (+0.00) 31.51 (-0.03) 3600.46 (+0.00)
37625c 123.70 (+0.02) 4.28 (+0.35) 3600.45 (+0.00) 32.34 (-0.02) 3600.45 (+0.00)
a5b898 121.25 3.17 3600.45 32.99 3600.45

Runs for test_runner/performance/test_perf_pgbench.py::test_pgbench_remote_select_only[3600-684]

platform: rds-postgres
scale: 684
select-only.number_of_clients: 4
select-only.number_of_threads: 1
select-only.number_of_transactions_actually_processed: 564231
select-only.run_end_timestamp: 1669101432
select-only.run_start_timestamp: 1669097831
select-only.scale: 684

revision select-only.latency_average select-only.latency_stddev select-only.run_duration select-only.tps total_duration
e43cde 1.24 (-0.01) 1.78 (-0.04) 3600.09 (-0.00) 3218.79 (+0.00) 3600.10 (-0.00)
6b1c4c 1.25 (+0.01) 1.86 (+0.05) 3600.10 (-0.00) 3206.41 (-0.01) 3600.10 (-0.00)
5d13a2 1.23 (-0.09) 1.77 (+0.25) 3600.10 (+0.00) 3244.69 (+0.10) 3600.10 (+0.00)
f7249b 1.35 (+0.09) 1.42 (-0.22) 3600.10 (+0.00) 2955.01 (-0.09) 3600.10 (+0.00)
306c4f 1.23 (+0.01) 1.83 (+0.01) 3600.09 (-0.00) 3244.54 (-0.01) 3600.09 (-0.00)
bd5934 1.22 (-0.00) 1.82 (+0.00) 3600.10 (+0.00) 3282.76 (+0.00) 3600.11 (+0.00)
b1a112 1.22 (+0.00) 1.82 (+0.00) 3600.10 (+0.00) 3274.55 (-0.00) 3600.10 (+0.00)
99c159 1.22 (+0.00) 1.82 (+0.05) 3600.10 (-0.00) 3286.91 (-0.00) 3600.10 (-0.00)
ea5a97 1.22 (-0.00) 1.73 (-0.01) 3600.10 (+0.00) 3286.95 (+0.00) 3600.10 (-0.00)
89275f 1.22 (-0.02) 1.74 (-0.06) 3600.10 (-0.00) 3271.50 (+0.02) 3600.10 (-0.00)
6d33d8 1.24 (-0.01) 1.85 (+0.03) 3600.11 (+0.00) 3222.07 (+0.01) 3600.11 (+0.00)
a7f4ee 1.25 (+0.04) 1.79 (-0.00) 3600.10 (-0.00) 3194.68 (-0.04) 3600.10 (-0.00)
6f28da 1.20 (-0.08) 1.80 (+0.35) 3600.10 (+0.00) 3327.29 (+0.09) 3600.10 (+0.00)
41aa62 1.30 (+0.08) 1.34 (-0.25) 3600.09 (-0.00) 3065.58 (-0.07) 3600.10 (+0.00)
7b5489 1.21 (-0.10) 1.79 (+0.36) 3600.10 (+0.00) 3311.25 (+0.11) 3600.10 (+0.00)
a23b07 1.34 (+0.11) 1.31 (-0.27) 3600.09 (-0.00) 2986.77 (-0.10) 3600.10 (+0.00)
cc2d00 1.21 (+0.01) 1.81 (+0.00) 3600.09 (-0.00) 3316.68 (-0.00) 3600.10 (-0.00)
ba9df2 1.20 (+0.00) 1.80 (+0.03) 3600.10 (+0.00) 3332.58 (-0.00) 3600.10 (+0.00)
a8f354 1.20 (-0.98) 1.75 (+0.40) 3600.09 (-0.00) 3338.06 (+65.54) 3600.09 (-0.00)
7feb0d 79.73 (+0.02) 1.25 (-0.02) 3601.06 (+0.00) 50.17 (-0.02) 3601.06 (+0.00)
982fce 78.52 (-0.00) 1.27 (-0.06) 3601.04 (+0.00) 50.94 (+0.00) 3601.04 (+0.00)
1f151d 78.57 (-0.02) 1.35 (-0.13) 3601.03 (-0.00) 50.91 (+0.02) 3601.03 (-0.00)
ff1a1a 79.84 (-0.00) 1.54 (+0.26) 3601.06 (+0.00) 50.10 (+0.00) 3601.06 (+0.00)
b1477b 79.88 (+0.01) 1.23 (-0.14) 3601.04 (+0.00) 50.07 (-0.01) 3601.04 (+0.00)
1b947f 79.31 (+0.01) 1.43 (+0.01) 3601.00 (-0.00) 50.43 (-0.01) 3601.00 (-0.00)
a21b55 78.55 (-0.00) 1.42 (-0.03) 3601.01 (+0.00) 50.92 (+0.00) 3601.01 (+0.00)
4ba950 78.56 (+0.00) 1.46 (-0.10) 3601.01 (-0.00) 50.92 (-0.00) 3601.01 (-0.00)
4e359d 78.49 (-0.01) 1.63 (-0.07) 3601.03 (-0.00) 50.96 (+0.01) 3601.03 (-0.00)
3837fc 79.19 (+0.01) 1.75 (-0.00) 3601.04 (-0.00) 50.51 (-0.01) 3601.04 (-0.00)
edcf4d 78.47 (-0.00) 1.76 (+0.18) 3601.04 (+0.00) 50.98 (+0.00) 3601.04 (+0.00)
411c71 78.47 (-0.01) 1.49 (-0.21) 3601.01 (-0.00) 50.97 (+0.01) 3601.01 (-0.00)
854348 79.06 (-0.00) 1.89 (-0.18) 3601.05 (+0.00) 50.59 (+0.00) 3601.05 (+0.00)
7ba5c2 79.27 (-0.00) 2.31 (+0.04) 3601.05 (-0.00) 50.46 (+0.00) 3601.05 (-0.00)
ebea29 79.29 (+0.01) 2.23 (+0.58) 3601.06 (+0.00) 50.45 (-0.01) 3601.06 (+0.00)
22c890 78.46 (-0.00) 1.41 (+0.15) 3600.99 (-0.00) 50.98 (+0.00) 3600.99 (-0.00)
f0b2e0 78.47 (-0.00) 1.23 (-0.12) 3601.04 (+0.00) 50.98 (+0.00) 3601.04 (+0.00)
dec580 78.60 (+0.00) 1.40 (-0.06) 3601.02 (-0.00) 50.89 (-0.00) 3601.02 (-0.00)
dec580 78.47 (-0.00) 1.49 (+0.03) 3601.04 (+0.00) 50.97 (+0.00) 3601.04 (+0.00)
b1c2a6 78.63 (-0.01) 1.45 (-0.26) 3601.04 (-0.00) 50.87 (+0.01) 3601.04 (-0.00)
931094 79.24 (+0.01) 1.97 (+0.04) 3601.04 (+0.00) 50.48 (-0.01) 3601.05 (+0.00)
957acb 78.56 (-0.01) 1.90 (+0.16) 3601.03 (-0.00) 50.92 (+0.01) 3601.03 (-0.00)
846532 79.24 (+0.00) 1.63 (+0.04) 3601.04 (-0.00) 50.48 (-0.00) 3601.04 (-0.00)
d733bc 79.14 (+0.01) 1.56 (-0.08) 3601.05 (+0.00) 50.55 (-0.01) 3601.05 (+0.00)
75ffe3 78.40 (-0.00) 1.69 (+0.25) 3601.01 (+0.00) 51.02 (+0.00) 3601.01 (+0.00)
75ffe3 78.46 (+0.00) 1.36 (-0.12) 3601.00 (-0.00) 50.98 (-0.00) 3601.00 (-0.00)
bf4623 78.42 (+0.01) 1.55 (-0.10) 3601.02 (-0.00) 51.01 (-0.01) 3601.02 (-0.00)
b26c83 77.59 (-0.02) 1.72 (+0.12) 3601.03 (+0.00) 51.55 (+0.02) 3601.03 (+0.00)
9d714a 79.35 (+0.00) 1.53 (-0.93) 3601.02 (-0.00) 50.41 (-0.00) 3601.02 (-0.00)
6efea4 79.25 (+0.02) 22.54 (+15.54) 3601.04 (+0.00) 50.47 (-0.02) 3601.04 (+0.00)
4071ff 77.56 (-0.01) 1.36 (-0.25) 3601.00 (-0.00) 51.57 (+0.01) 3601.00 (-0.00)
4071ff 78.44 (-0.01) 1.82 (+0.15) 3601.04 (-0.00) 50.99 (+0.01) 3601.04 (-0.00)
870ba4 79.12 (+0.01) 1.58 (-0.15) 3601.05 (+0.00) 50.56 (-0.01) 3601.05 (+0.00)
f5ca89 78.46 (-0.01) 1.86 (+0.53) 3601.03 (-0.00) 50.98 (+0.01) 3601.03 (-0.00)
8bd565 79.10 (+0.00) 1.21 (-0.01) 3601.05 (+0.00) 50.57 (-0.00) 3601.05 (+0.00)
dd22c8 79.05 (+0.01) 1.23 (-0.89) 3601.00 (-0.00) 50.60 (-0.01) 3601.01 (-0.00)
299db9 78.41 (-0.01) 11.34 (+4.97) 3601.02 (-0.00) 51.01 (+0.01) 3601.03 (-0.00)
93f3f4 79.19 (+0.01) 1.90 (+0.33) 3601.03 (+0.00) 50.51 (-0.01) 3601.03 (+0.00)
f6e2e0 78.42 (+0.00) 1.42 (+0.12) 3601.02 (+0.00) 51.01 (-0.00) 3601.02 (+0.00)
f6e2e0 78.32 (-0.00) 1.27 (-0.04) 3601.02 (+0.00) 51.07 (+0.00) 3601.02 (+0.00)
f6e2e0 78.45 (+0.00) 1.32 (-0.12) 3601.01 (-0.00) 50.99 (-0.00) 3601.01 (-0.00)
f1d960 78.38 (-0.01) 1.49 (-0.55) 3601.03 (+0.00) 51.03 (+0.01) 3601.03 (+0.00)
4a9279 79.06 (+0.01) 3.34 (+1.30) 3601.00 (-0.00) 50.59 (-0.01) 3601.00 (-0.00)
2e4bf7 78.41 (-0.00) 1.45 (-0.11) 3601.04 (+0.00) 51.01 (+0.00) 3601.04 (+0.00)
ce8fbb 78.48 (+0.00) 1.63 (+0.19) 3601.03 (-0.00) 50.97 (-0.00) 3601.03 (-0.00)
ce8fbb 78.31 (-0.00) 1.37 (-0.08) 3601.04 (+0.00) 51.08 (+0.00) 3601.04 (+0.00)
ce8fbb 78.43 (-0.00) 1.50 (-0.46) 3601.03 (-0.00) 51.00 (+0.00) 3601.03 (-0.00)
d1a0f2 78.48 (+0.00) 2.79 (+0.16) 3601.04 (+0.00) 50.97 (-0.00) 3601.04 (+0.00)
ccf92d 78.42 (+0.00) 2.41 (-0.24) 3601.01 (-0.00) 51.01 (-0.00) 3601.01 (-0.00)
02b8e0 78.40 (+0.00) 3.15 (+1.27) 3601.02 (+0.00) 51.02 (-0.00) 3601.02 (+0.00)
7b9057 78.38 (-0.01) 1.39 (-0.55) 3601.01 (-0.00) 51.03 (+0.01) 3601.01 (-0.00)
9cada8 79.02 (+0.01) 3.11 (+0.86) 3601.02 (-0.00) 50.62 (-0.01) 3601.03 (-0.00)
9cada8 78.45 (+0.00) 1.67 (+0.10) 3601.03 (-0.00) 50.99 (-0.00) 3601.03 (-0.00)
9cada8 78.42 (-0.09) 1.51 (-0.09) 3601.04 (-0.00) 51.01 (+0.10) 3601.04 (-0.00)
a60f68 86.44 (+0.10) 1.66 (+0.16) 3601.16 (+0.00) 46.28 (-0.09) 3601.16 (+0.00)
d19c52 78.42 (+0.00) 1.43 (+0.01) 3601.02 (+0.00) 51.01 (-0.00) 3601.02 (+0.00)
000eb1 78.35 (-0.00) 1.42 (-0.11) 3601.01 (-0.00) 51.05 (+0.00) 3601.01 (-0.00)
000eb1 78.41 (-0.00) 1.60 (-0.03) 3601.02 (-0.00) 51.01 (+0.00) 3601.02 (-0.00)
f51b48 78.42 (-0.00) 1.65 (-0.08) 3601.04 (+0.00) 51.00 (+0.00) 3601.04 (+0.00)
f51b48 78.49 (+0.00) 1.80 (-0.06) 3601.02 (-0.00) 50.96 (-0.00) 3601.02 (-0.00)
f51b48 78.41 (-0.00) 1.91 (+0.45) 3601.03 (-0.00) 51.02 (+0.00) 3601.03 (-0.00)
9f906f 78.45 (-0.00) 1.32 (-0.77) 3601.03 (-0.00) 50.99 (+0.00) 3601.03 (-0.00)
0692ff 78.77 (+0.00) 5.83 (+1.94) 3601.14 (+0.00) 50.78 (-0.00) 3601.14 (+0.00)
2caece 78.47 (-0.00) 1.98 (-0.29) 3601.02 (+0.00) 50.97 (+0.00) 3601.02 (+0.00)
bc7d3c 78.49 (+0.00) 2.78 (+1.12) 3601.01 (-0.00) 50.96 (-0.00) 3601.02 (-0.00)
2153d2 78.40 (-0.00) 1.31 (-0.38) 3601.03 (+0.00) 51.02 (+0.00) 3601.04 (+0.00)
2153d2 78.42 (-0.00) 2.10 (+0.55) 3601.01 (+0.00) 51.01 (+0.00) 3601.01 (+0.00)
a1b062 78.45 (+0.00) 1.35 (+0.04) 3601.00 (-0.00) 50.99 (-0.00) 3601.00 (-0.00)
1d9d7c 78.42 (+0.00) 1.29 (-0.23) 3601.03 (-0.00) 51.01 (-0.00) 3601.03 (-0.00)
3569c1 78.38 (-0.00) 1.68 (+0.21) 3601.04 (+0.00) 51.03 (+0.00) 3601.04 (+0.00)
eaff14 78.43 (-0.01) 1.39 (-0.14) 3601.00 (-0.00) 51.00 (+0.01) 3601.00 (-0.00)
f383b4 79.05 (-0.00) 1.61 (+0.05) 3601.05 (+0.00) 50.60 (+0.00) 3601.05 (+0.00)
f383b4 79.09 (+0.01) 1.53 (+0.22) 3601.02 (-0.00) 50.58 (-0.01) 3601.02 (-0.00)
a4256b 78.36 (-0.01) 1.26 (-0.20) 3601.03 (+0.00) 51.05 (+0.01) 3601.03 (+0.00)
371493 79.03 (-0.00) 1.57 (-0.15) 3601.02 (-0.00) 50.62 (+0.00) 3601.02 (-0.00)
c5c143 79.18 (+0.01) 1.84 (-0.10) 3601.03 (+0.00) 50.52 (-0.01) 3601.03 (+0.00)
58fa4f 78.48 (-0.01) 2.05 (+0.26) 3601.00 (-0.00) 50.97 (+0.01) 3601.00 (-0.00)
ec3a3a 79.02 (+0.01) 1.62 (-0.30) 3601.03 (-0.00) 50.62 (-0.01) 3601.03 (-0.00)
96e783 78.27 (-0.00) 2.32 (-0.25) 3601.03 (+0.00) 51.11 (+0.00) 3601.04 (+0.00)
567b71 78.44 (+0.00) 3.08 (+0.94) 3601.01 (-0.00) 51.00 (+0.00) 3601.02 (+0.00)
847fc5 78.44 (+0.00) 1.58 (-0.12) 3601.02 (+0.00) 51.00 (-0.00) 3601.02 (+0.00)
5e08b3 78.43 (-0.00) 1.80 (+0.27) 3601.01 (-0.00) 51.00 (+0.00) 3601.01 (-0.00)
4d291d 78.45 (+0.00) 1.41 (-0.33) 3601.03 (+0.00) 50.99 (-0.00) 3601.03 (+0.00)
4d291d 78.34 (+0.02) 2.10 (+0.49) 3601.01 (-0.00) 51.06 (-0.02) 3601.01 (-0.00)
bf63f1 77.03 (-0.01) 1.41 (-0.33) 3601.03 (+0.00) 51.93 (+0.01) 3601.03 (+0.00)
0a0958 77.65 (+0.00) 2.12 (+0.53) 3601.02 (+0.00) 51.51 (-0.00) 3601.02 (+0.00)
aabca5 77.34 (+0.00) 1.38 (-0.05) 3600.98 (-0.00) 51.72 (-0.00) 3600.98 (-0.00)
a4be54 77.30 (-0.01) 1.46 (+0.01) 3601.00 (-0.00) 51.74 (+0.01) 3601.00 (-0.00)
a3d7ad 77.74 (+0.01) 1.45 (-0.04) 3601.04 (+0.00) 51.46 (-0.01) 3601.04 (+0.00)
a3d7ad 77.32 (-0.01) 1.51 (-0.20) 3601.01 (-0.00) 51.74 (+0.01) 3601.01 (-0.00)
8ba169 77.85 (+0.01) 1.88 (+0.13) 3601.02 (+0.00) 51.38 (-0.01) 3601.02 (+0.00)
e5cc2f 77.41 (-0.00) 1.66 (-0.09) 3601.02 (-0.00) 51.67 (+0.00) 3601.02 (-0.00)
e067cd 77.69 (-0.00) 1.83 (+0.04) 3601.02 (+0.00) 51.49 (+0.00) 3601.03 (+0.00)
bce423 77.77 (+0.00) 1.77 (+0.15) 3601.01 (+0.00) 51.43 (-0.00) 3601.02 (+0.00)
bce423 77.54 (-0.01) 1.54 (-0.14) 3600.97 (-0.00) 51.59 (+0.01) 3600.98 (-0.00)
c28bfd 77.99 (+0.00) 1.79 (+0.10) 3601.02 (-0.00) 51.29 (-0.00) 3601.03 (+0.00)
95bf19 77.64 (+0.00) 1.63 (-0.30) 3601.02 (+0.00) 51.52 (-0.00) 3601.03 (+0.00)
95bf19 77.58 (+0.01) 2.32 (+0.46) 3601.01 (+0.00) 51.56 (-0.01) 3601.02 (+0.00)
080752 77.13 (-0.01) 1.58 (-0.03) 3601.00 (-0.00) 51.86 (+0.01) 3601.00 (-0.00)
23d5e2 77.78 (-0.00) 1.63 (-0.27) 3601.04 (+0.00) 51.43 (+0.00) 3601.04 (+0.00)
23d5e2 77.81 (+0.01) 2.24 (+0.20) 3601.02 (+0.00) 51.40 (-0.01) 3601.02 (+0.00)
8b710b 77.42 (-0.00) 1.87 (-0.22) 3601.01 (-0.00) 51.67 (+0.00) 3601.01 (-0.00)
8c6e60 77.65 (-0.00) 2.41 (+0.39) 3601.04 (+0.00) 51.52 (+0.00) 3601.04 (+0.00)
10dae7 77.92 (+0.01) 1.73 (+0.19) 3601.03 (+0.00) 51.33 (-0.01) 3601.03 (+0.00)
4c4d3d 76.91 (-0.01) 1.45 (+0.03) 3601.02 (+0.00) 52.01 (+0.01) 3601.02 (+0.00)
9f94d0 77.72 (+0.01) 1.41 (+0.15) 3601.00 (-0.00) 51.46 (-0.01) 3601.00 (-0.00)
9f94d0 76.88 (-0.02) 1.22 (-0.27) 3601.03 (-0.00) 52.03 (+0.02) 3601.03 (-0.00)
c700c7 78.41 (+0.01) 1.67 (-0.05) 3601.04 (+0.00) 51.01 (-0.01) 3601.04 (+0.00)
42c6dd 77.55 (-0.00) 1.77 (+0.44) 3601.02 (-0.00) 51.58 (+0.00) 3601.02 (-0.00)
f6bf7b 77.72 (+0.00) 1.23 (-0.03) 3601.02 (-0.00) 51.47 (-0.00) 3601.03 (-0.00)
1137b5 77.44 (-0.01) 1.27 (-0.07) 3601.03 (+0.00) 51.65 (+0.01) 3601.04 (+0.00)
1468c6 78.42 (+0.02) 1.36 (-0.29) 3601.00 (+0.00) 51.00 (-0.02) 3601.00 (+0.00)
1468c6 76.70 (-0.01) 1.90 (+0.02) 3600.99 (-0.00) 52.15 (+0.01) 3600.99 (-0.00)
c01f92 77.64 (-0.00) 1.87 (+0.14) 3601.03 (-0.00) 51.52 (+0.00) 3601.03 (-0.00)
7ff591 77.76 (+0.00) 1.64 (+0.03) 3601.04 (+0.00) 51.44 (-0.00) 3601.04 (+0.00)
5d4774 77.69 (-0.01) 1.60 (+0.08) 3601.00 (-0.00) 51.48 (+0.01) 3601.00 (-0.00)
56d8c2 78.15 (+0.00) 1.48 (+0.51) 3601.00 (-0.00) 51.18 (-0.00) 3601.00 (-0.00)
12e6f4 77.92 (+0.01) 0.98 (-0.41) 3601.00 (-0.00) 51.33 (-0.01) 3601.00 (-0.00)
12e6f4 77.12 (-0.00) 1.66 (+0.08) 3601.02 (-0.00) 51.87 (+0.00) 3601.02 (-0.00)
61194a 77.45 (-0.01) 1.54 (+0.62) 3601.03 (+0.00) 51.64 (+0.01) 3601.03 (+0.00)
70ce01 77.98 (+0.01) 0.95 (-0.32) 3601.03 (+0.00) 51.29 (-0.01) 3601.03 (+0.00)
c04c20 77.44 (+0.00) 1.39 (-0.10) 3601.00 (+0.00) 51.65 (-0.00) 3601.01 (+0.00)
827ee1 77.28 (+0.00) 1.54 (+0.02) 3600.97 (-0.00) 51.76 (-0.00) 3600.97 (-0.00)
22ae67 77.09 (-0.00) 1.51 (+0.32) 3601.02 (-0.00) 51.89 (+0.00) 3601.02 (-0.00)
0f4458 77.19 (-0.01) 1.14 (-0.46) 3601.02 (+0.00) 51.82 (+0.01) 3601.02 (+0.00)
b8a566 78.02 (+0.00) 2.12 (+0.55) 3601.01 (+0.00) 51.27 (-0.00) 3601.01 (+0.00)
9747e9 77.70 (+2.01) 1.37 (-0.22) 3601.00 (+0.00) 51.48 (-0.67) 3601.01 (+0.00)
b50e07 25.81 (+0.03) 1.76 (-0.10) 3600.36 (-0.00) 154.97 (-0.03) 3600.36 (-0.00)
6a57d5 25.01 (-0.05) 1.96 (-0.16) 3600.37 (-0.00) 159.93 (+0.05) 3600.37 (-0.00)
c0480f 26.26 (+0.01) 2.34 (+0.32) 3600.38 (+0.00) 152.32 (-0.01) 3600.38 (+0.00)
4f443c 25.97 (+0.00) 1.78 (-0.43) 3600.35 (-0.00) 154.01 (-0.00) 3600.35 (-0.00)
788823 25.91 (+0.00) 3.15 (+1.18) 3600.38 (+0.00) 154.40 (-0.00) 3600.38 (+0.00)
c21104 25.82 (-0.00) 1.44 (+0.11) 3600.38 (+0.00) 154.92 (+0.00) 3600.38 (+0.00)
b9544a 25.88 (+0.02) 1.30 (-0.18) 3600.36 (+0.00) 154.56 (-0.02) 3600.37 (+0.00)
33834c 25.43 (-0.02) 1.58 (-0.21) 3600.33 (-0.00) 157.31 (+0.02) 3600.33 (-0.00)
521667 26.00 (+0.03) 1.99 (+0.37) 3600.36 (+0.00) 153.83 (-0.03) 3600.36 (+0.00)
c14cc8 25.26 (-0.03) 1.46 (-0.39) 3600.34 (-0.00) 158.34 (+0.03) 3600.34 (-0.00)
480175 26.00 (-0.01) 2.39 (+0.38) 3600.35 (+0.00) 153.87 (+0.01) 3600.35 (+0.00)
361648 26.19 (-0.02) 1.74 (+0.45) 3600.35 (+0.00) 152.71 (+0.02) 3600.35 (+0.00)
480175 26.65 (+0.04) 1.20 (-0.30) 3600.35 (+0.00) 150.09 (-0.04) 3600.35 (+0.00)
ae53dc 25.70 (+0.00) 1.72 (+0.39) 3600.34 (-0.00) 155.61 (-0.00) 3600.34 (-0.00)
05db64 25.64 (+0.05) 1.24 (-0.21) 3600.37 (+0.00) 155.97 (-0.04) 3600.37 (+0.00)
37625c 24.52 (-0.04) 1.57 (+0.09) 3600.36 (+0.00) 163.13 (+0.04) 3600.36 (+0.00)
a5b898 25.52 1.44 3600.35 156.76 3600.35

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query0]

platform: rds-postgres

revision Q0/1 Q0/2 Q0/3 total_duration
41aa62 3.87 (+0.04) 1.60 (-0.03) 1.58 (+0.05) 7.05 (+0.03)
7b5489 3.71 (-0.04) 1.64 (+0.02) 1.51 (-0.04) 6.86 (-0.03)
a23b07 3.87 (+0.02) 1.60 (-0.09) 1.58 (+0.04) 7.05 (-0.01)
cc2d00 3.80 (-0.06) 1.76 (+0.09) 1.52 (-0.00) 7.09 (-0.01)
ba9df2 4.05 (-0.03) 1.62 (+0.01) 1.52 (-0.00) 7.19 (-0.01)
a8f354 4.16 (+0.06) 1.60 (-0.08) 1.52 (-0.01) 7.29 (+0.01)
7feb0d 3.93 (-0.02) 1.73 (+0.05) 1.53 (-0.13) 7.19 (-0.03)
982fce 4.00 (+0.04) 1.65 (+0.00) 1.75 (+0.03) 7.39 (+0.03)
1f151d 3.83 (-0.05) 1.65 (-0.05) 1.70 (-0.04) 7.18 (-0.04)
ff1a1a 4.01 (-0.15) 1.74 (-0.05) 1.76 (+0.11) 7.52 (-0.07)
b1477b 4.69 (+0.18) 1.83 (+0.01) 1.59 (+0.01) 8.11 (+0.10)
1b947f 3.98 (-0.01) 1.81 (+0.08) 1.57 (-0.02) 7.37 (+0.01)
a21b55 4.00 (+0.04) 1.67 (-0.04) 1.60 (+0.03) 7.27 (+0.02)
4ba950 3.85 (-0.02) 1.73 (+0.05) 1.56 (+0.00) 7.14 (+0.00)
4e359d 3.92 (+0.14) 1.64 (-0.11) 1.56 (-0.03) 7.12 (+0.03)
3837fc 3.45 (+0.00) 1.84 (+0.13) 1.61 (-0.03) 6.90 (+0.02)
edcf4d 3.45 (-0.00) 1.63 (-0.01) 1.65 (+0.02) 6.74 (+0.00)
411c71 3.45 (-0.00) 1.65 (-0.03) 1.62 (+0.04) 6.72 (-0.00)
854348 3.46 (+0.00) 1.70 (-0.00) 1.56 (+0.00) 6.72 (-0.00)
7ba5c2 3.46 (+0.00) 1.71 (+0.06) 1.56 (+0.02) 6.72 (+0.02)
ebea29 3.46 (+0.00) 1.62 (-0.02) 1.52 (-0.00) 6.60 (-0.01)
22c890 3.45 (-0.00) 1.66 (+0.03) 1.52 (-0.00) 6.64 (+0.01)
f0b2e0 3.45 (+0.00) 1.62 (+0.00) 1.52 (-0.00) 6.59 (+0.00)
dec580 3.45 (-0.00) 1.61 (-0.14) 1.52 (-0.00) 6.58 (-0.04)
dec580 3.45 (-0.00) 1.86 (+0.10) 1.52 (-0.00) 6.84 (+0.03)
b1c2a6 3.45 (-0.00) 1.69 (+0.01) 1.52 (-0.00) 6.67 (+0.00)
931094 3.46 (+0.00) 1.67 (+0.03) 1.53 (-0.03) 6.67 (+0.00)
957acb 3.45 (+0.00) 1.61 (-0.03) 1.58 (+0.04) 6.65 (+0.00)
846532 3.45 (-0.00) 1.66 (+0.03) 1.53 (-0.03) 6.64 (-0.00)
d733bc 3.45 (-0.00) 1.61 (+0.00) 1.58 (+0.04) 6.65 (+0.01)
75ffe3 3.45 (-0.00) 1.60 (-0.01) 1.53 (+0.00) 6.58 (-0.00)
75ffe3 3.45 (-0.00) 1.62 (-0.03) 1.53 (+0.01) 6.60 (-0.01)
bf4623 3.46 (+0.00) 1.67 (+0.00) 1.52 (+0.00) 6.65 (+0.00)
b26c83 3.45 (+0.00) 1.66 (+0.03) 1.52 (-0.06) 6.63 (-0.01)
9d714a 3.45 (-0.13) 1.60 (-0.01) 1.62 (+0.00) 6.68 (-0.07)
6efea4 3.96 (+0.15) 1.62 (+0.01) 1.61 (+0.06) 7.19 (+0.10)
4071ff 3.45 (+0.00) 1.60 (-0.01) 1.51 (-0.01) 6.56 (-0.00)
4071ff 3.45 (-0.00) 1.61 (-0.03) 1.52 (+0.00) 6.58 (-0.01)
870ba4 3.46 (-0.00) 1.66 (+0.03) 1.52 (-0.12) 6.64 (-0.02)
f5ca89 3.46 (+0.00) 1.61 (-0.08) 1.73 (+0.14) 6.81 (+0.01)
8bd565 3.45 (+0.00) 1.75 (-0.07) 1.52 (-0.00) 6.72 (-0.02)
dd22c8 3.44 (-0.00) 1.89 (+0.17) 1.52 (-0.04) 6.85 (+0.03)
299db9 3.45 (+0.00) 1.61 (-0.04) 1.58 (-0.01) 6.65 (-0.01)
93f3f4 3.45 (+0.00) 1.68 (+0.05) 1.60 (+0.05) 6.73 (+0.02)
f6e2e0 3.44 (-0.01) 1.60 (-0.07) 1.52 (-0.00) 6.57 (-0.02)
f6e2e0 3.46 (+0.00) 1.73 (+0.07) 1.53 (-0.03) 6.71 (+0.01)
f6e2e0 3.45 (-0.00) 1.61 (+0.00) 1.59 (-0.01) 6.65 (-0.01)
f1d960 3.46 (-0.01) 1.61 (+0.00) 1.61 (+0.06) 6.69 (+0.01)
4a9279 3.50 (+0.02) 1.61 (+0.00) 1.52 (-0.06) 6.63 (-0.00)
2e4bf7 3.44 (-0.00) 1.60 (-0.01) 1.61 (+0.01) 6.66 (+0.00)
ce8fbb 3.45 (+0.00) 1.62 (-0.03) 1.59 (+0.04) 6.66 (+0.00)
ce8fbb 3.45 (-0.00) 1.68 (+0.04) 1.52 (-0.00) 6.65 (+0.01)
ce8fbb 3.45 (+0.00) 1.62 (-0.03) 1.52 (-0.01) 6.60 (-0.01)
d1a0f2 3.45 (+0.00) 1.67 (-0.00) 1.53 (+0.00) 6.65 (+0.00)
ccf92d 3.45 (-0.00) 1.67 (+0.04) 1.53 (-0.03) 6.65 (-0.00)
02b8e0 3.47 (+0.00) 1.61 (+0.00) 1.58 (-0.09) 6.66 (-0.02)
7b9057 3.46 (+0.00) 1.61 (-0.01) 1.74 (+0.14) 6.81 (+0.03)
9cada8 3.45 (-0.00) 1.62 (+0.02) 1.53 (+0.01) 6.60 (+0.01)
9cada8 3.45 (-0.01) 1.59 (-0.03) 1.51 (-0.06) 6.56 (-0.03)
9cada8 3.49 (-0.01) 1.64 (-0.05) 1.61 (+0.01) 6.74 (-0.01)
a60f68 3.51 (+0.02) 1.73 (+0.04) 1.60 (+0.05) 6.83 (+0.03)
d19c52 3.46 (+0.00) 1.66 (-0.00) 1.52 (-0.09) 6.65 (-0.02)
000eb1 3.45 (+0.00) 1.66 (+0.04) 1.67 (+0.03) 6.79 (+0.02)
000eb1 3.45 (-0.00) 1.60 (-0.00) 1.62 (+0.07) 6.68 (+0.02)
f51b48 3.45 (-0.00) 1.60 (-0.11) 1.51 (-0.00) 6.57 (-0.03)
f51b48 3.46 (+0.00) 1.80 (+0.09) 1.51 (-0.06) 6.77 (+0.01)
f51b48 3.45 (+0.00) 1.65 (-0.06) 1.60 (+0.01) 6.71 (-0.01)
9f906f 3.45 (-0.02) 1.76 (+0.04) 1.58 (-0.03) 6.79 (-0.01)
0692ff 3.52 (+0.02) 1.69 (+0.06) 1.62 (+0.07) 6.84 (+0.04)
2caece 3.45 (-0.00) 1.60 (-0.01) 1.52 (-0.18) 6.57 (-0.05)
bc7d3c 3.45 (-0.00) 1.62 (+0.00) 1.85 (+0.21) 6.92 (+0.05)
2153d2 3.45 (-0.00) 1.62 (+0.00) 1.53 (+0.00) 6.60 (+0.00)
2153d2 3.45 (-0.00) 1.62 (+0.00) 1.53 (+0.00) 6.60 (+0.00)
2153d2 3.45 (-0.00) 1.61 (+0.00) 1.52 (-0.06) 6.59 (-0.02)
a1b062 3.46 (-0.01) 1.61 (-0.12) 1.62 (+0.06) 6.69 (-0.02)
1d9d7c 3.48 (+0.01) 1.83 (+0.13) 1.53 (-0.10) 6.84 (+0.01)
3569c1 3.45 (-0.00) 1.62 (-0.05) 1.69 (+0.02) 6.77 (-0.01)
eaff14 3.45 (-0.01) 1.71 (+0.03) 1.65 (+0.08) 6.81 (+0.02)
f383b4 3.48 (+0.01) 1.67 (-0.01) 1.52 (-0.05) 6.67 (-0.01)
f383b4 3.45 (+0.00) 1.69 (+0.05) 1.60 (-0.02) 6.74 (+0.01)
f383b4 3.45 (-0.00) 1.61 (+0.00) 1.63 (+0.05) 6.69 (+0.01)
a4256b 3.45 (-0.00) 1.60 (-0.12) 1.55 (+0.01) 6.61 (-0.03)
371493 3.45 (+0.00) 1.82 (+0.09) 1.53 (-0.05) 6.80 (+0.01)
c5c143 3.45 (-0.01) 1.67 (+0.04) 1.61 (+0.05) 6.73 (+0.02)
58fa4f 3.47 (-0.01) 1.60 (-0.04) 1.54 (+0.01) 6.61 (-0.02)
121d53 3.52 (+0.02) 1.67 (+0.04) 1.53 (+0.00) 6.72 (+0.02)
121d53 3.46 (+0.00) 1.61 (-0.01) 1.53 (+0.00) 6.59 (-0.00)
ec3a3a 3.45 (-0.00) 1.63 (+0.01) 1.52 (-0.00) 6.60 (+0.00)
96e783 3.45 (+0.00) 1.61 (-0.00) 1.52 (-0.00) 6.59 (-0.00)
567b71 3.45 (+0.00) 1.62 (-0.05) 1.52 (+0.00) 6.59 (-0.01)
847fc5 3.45 (-0.00) 1.71 (+0.07) 1.52 (-0.05) 6.68 (+0.00)
5e08b3 3.46 (-0.00) 1.60 (-0.00) 1.60 (-0.06) 6.66 (-0.02)
4d291d 3.46 (+0.00) 1.60 (-0.01) 1.70 (+0.08) 6.77 (+0.02)
4d291d 3.45 (+0.00) 1.62 (-0.02) 1.58 (-0.01) 6.65 (-0.01)
bf63f1 3.44 (-0.00) 1.65 (+0.02) 1.60 (+0.06) 6.69 (+0.02)
0a0958 3.45 (-0.01) 1.62 (-0.10) 1.51 (-0.00) 6.57 (-0.03)
aabca5 3.48 (+0.01) 1.80 (+0.12) 1.51 (-0.04) 6.79 (+0.03)
a4be54 3.44 (+0.00) 1.60 (-0.00) 1.58 (-0.01) 6.62 (-0.00)
a3d7ad 3.43 (-0.00) 1.60 (-0.01) 1.59 (+0.05) 6.62 (+0.01)
a3d7ad 3.44 (+0.00) 1.62 (-0.02) 1.51 (-0.02) 6.57 (-0.01)
8ba169 3.43 (-0.06) 1.64 (+0.02) 1.54 (+0.02) 6.62 (-0.02)
e5cc2f 3.67 (+0.07) 1.60 (-0.01) 1.52 (+0.00) 6.78 (+0.03)
c6b56d 3.44 (+0.00) 1.62 (-0.09) 1.51 (-0.13) 6.57 (-0.05)
e067cd 3.43 (-0.00) 1.78 (+0.00) 1.74 (+0.15) 6.95 (+0.03)
bce423 3.44 (+0.00) 1.78 (+0.13) 1.51 (-0.13) 6.73 (-0.00)
bce423 3.44 (-0.00) 1.57 (-0.02) 1.73 (+0.10) 6.74 (+0.02)
c28bfd 3.44 (-0.00) 1.60 (+0.00) 1.57 (+0.04) 6.62 (+0.01)
95bf19 3.44 (-0.00) 1.60 (-0.02) 1.51 (-0.09) 6.55 (-0.03)
95bf19 3.44 (-0.00) 1.63 (-0.01) 1.66 (+0.09) 6.74 (+0.02)
080752 3.44 (+0.00) 1.65 (+0.04) 1.52 (-0.00) 6.61 (+0.01)
23d5e2 3.44 (+0.00) 1.58 (-0.00) 1.53 (+0.02) 6.55 (+0.00)
23d5e2 3.44 (+0.00) 1.59 (-0.01) 1.50 (-0.01) 6.53 (-0.00)
8b710b 3.43 (-0.00) 1.60 (+0.00) 1.51 (-0.08) 6.55 (-0.02)
8c6e60 3.45 (+0.00) 1.59 (-0.01) 1.63 (+0.08) 6.67 (+0.02)
10dae7 3.44 (+0.00) 1.61 (-0.02) 1.51 (-0.05) 6.56 (-0.02)
4c4d3d 3.43 (-0.00) 1.65 (+0.03) 1.58 (+0.05) 6.66 (+0.02)
9f94d0 3.45 (+0.01) 1.60 (-0.02) 1.50 (-0.05) 6.55 (-0.01)
9f94d0 3.43 (-0.01) 1.63 (+0.02) 1.58 (+0.04) 6.64 (+0.01)
9f94d0 3.48 (-0.08) 1.60 (-0.00) 1.52 (-0.00) 6.60 (-0.05)
c700c7 3.80 (+0.04) 1.61 (-0.09) 1.52 (-0.05) 6.93 (-0.01)
42c6dd 3.64 (+0.06) 1.78 (-0.05) 1.59 (+0.05) 7.01 (+0.03)
f6bf7b 3.44 (-0.00) 1.88 (+0.18) 1.52 (+0.01) 6.84 (+0.04)
1137b5 3.44 (-0.03) 1.59 (-0.01) 1.51 (-0.00) 6.55 (-0.02)
1468c6 3.56 (+0.03) 1.60 (-0.05) 1.52 (+0.00) 6.68 (+0.00)
1468c6 3.44 (-0.04) 1.69 (+0.07) 1.52 (+0.02) 6.65 (-0.00)
c01f92 3.59 (+0.03) 1.58 (-0.00) 1.49 (-0.05) 6.67 (+0.00)
7ff591 3.49 (+0.02) 1.58 (-0.05) 1.57 (+0.03) 6.64 (+0.00)
5d4774 3.43 (-0.00) 1.67 (-0.06) 1.52 (+0.02) 6.62 (-0.02)
56d8c2 3.45 (-0.01) 1.78 (+0.12) 1.50 (+0.00) 6.73 (+0.02)
12e6f4 3.49 (+0.01) 1.58 (-0.03) 1.50 (+0.00) 6.58 (-0.00)
12e6f4 3.45 (-0.03) 1.63 (+0.03) 1.50 (+0.00) 6.58 (-0.01)
61194a 3.54 (+0.03) 1.58 (-0.10) 1.50 (-0.01) 6.62 (-0.02)
70ce01 3.45 (-0.02) 1.76 (+0.10) 1.52 (-0.11) 6.73 (-0.01)
c04c20 3.51 (+0.02) 1.61 (-0.03) 1.70 (+0.13) 6.82 (+0.03)
827ee1 3.44 (-0.07) 1.65 (+0.02) 1.51 (-0.01) 6.61 (-0.03)
22ae67 3.69 (-0.05) 1.62 (+0.02) 1.53 (+0.00) 6.84 (-0.02)
0f4458 3.88 (+0.13) 1.60 (-0.17) 1.52 (+0.00) 7.00 (+0.02)
0f4458 3.43 (-0.02) 1.92 (+0.22) 1.52 (+0.02) 6.88 (+0.04)
0f4458 3.51 (-0.05) 1.58 (-0.02) 1.50 (-0.02) 6.59 (-0.04)
b8a566 3.69 (+0.07) 1.61 (+0.01) 1.53 (-0.00) 6.84 (+0.04)
b8a566 3.46 (+0.01) 1.59 (-0.01) 1.53 (-0.11) 6.59 (-0.02)
9747e9 3.41 (+0.12) 1.60 (-0.10) 1.72 (+0.52) 6.73 (+0.13)
b50e07 3.04 (+0.00) 1.78 (+0.53) 1.13 (-0.02) 5.95 (+0.11)
6a57d5 3.03 (-0.06) 1.16 (+0.05) 1.15 (+0.05) 5.35 (-0.02)
c0480f 3.23 (+0.02) 1.11 (+0.02) 1.09 (-0.02) 5.43 (+0.01)
4f443c 3.16 (+0.04) 1.09 (+0.01) 1.11 (+0.00) 5.37 (+0.03)
4f443c 3.04 (-0.03) 1.08 (-0.02) 1.11 (+0.02) 5.22 (-0.02)
788823 3.12 (-0.05) 1.10 (-0.01) 1.09 (-0.01) 5.31 (-0.03)
c21104 3.29 (+0.06) 1.11 (+0.00) 1.10 (+0.00) 5.50 (+0.04)
b9544a 3.10 (-0.00) 1.11 (-0.01) 1.10 (+0.01) 5.31 (-0.00)
33834c 3.11 (-0.01) 1.12 (-0.07) 1.09 (-0.01) 5.31 (-0.03)
521667 3.14 (+0.03) 1.21 (-0.20) 1.10 (-0.01) 5.45 (-0.04)
361648 3.04 (-0.04) 1.51 (+0.37) 1.11 (+0.01) 5.66 (+0.05)
fc0629 3.17 1.10 1.10 5.38

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query1]

platform: rds-postgres

revision Q1/1 Q1/2 Q1/3 total_duration
41aa62 53.87 (+0.00) 54.74 (+0.01) 54.20 (-0.00) 162.82 (+0.00)
7b5489 53.86 (-0.00) 54.22 (+0.00) 54.22 (+0.00) 162.31 (+0.00)
a23b07 53.87 (-0.00) 54.21 (-0.00) 54.21 (+0.00) 162.30 (-0.00)
cc2d00 53.89 (+0.00) 54.22 (-0.01) 54.20 (-0.00) 162.31 (-0.00)
ba9df2 53.88 (+0.00) 54.73 (+0.01) 54.22 (+0.00) 162.83 (+0.00)
a8f354 53.87 (-0.00) 54.22 (+0.00) 54.20 (-0.00) 162.30 (-0.00)
7feb0d 53.91 (+0.00) 54.21 (-0.00) 54.21 (-0.00) 162.34 (-0.00)
982fce 53.89 (-0.00) 54.24 (+0.00) 54.23 (+0.00) 162.37 (-0.00)
1f151d 53.91 (-0.00) 54.23 (+0.00) 54.23 (+0.00) 162.37 (+0.00)
ff1a1a 53.92 (+0.00) 54.22 (-0.00) 54.22 (-0.00) 162.37 (-0.00)
b1477b 53.91 (+0.00) 54.24 (+0.00) 54.23 (-0.00) 162.38 (-0.00)
1b947f 53.91 (+0.00) 54.23 (-0.00) 54.24 (+0.00) 162.38 (+0.00)
a21b55 53.89 (-0.00) 54.24 (+0.00) 54.23 (-0.01) 162.36 (-0.00)
4ba950 53.90 (+0.00) 54.23 (-0.00) 54.74 (+0.00) 162.88 (+0.00)
4e359d 53.89 (+0.00) 54.24 (-0.00) 54.74 (+0.01) 162.87 (+0.00)
3837fc 53.89 (+0.00) 54.24 (+0.00) 54.22 (-0.00) 162.36 (+0.00)
edcf4d 53.89 (-0.00) 54.24 (+0.00) 54.23 (-0.00) 162.36 (-0.00)
411c71 53.89 (-0.00) 54.23 (-0.00) 54.26 (+0.00) 162.39 (+0.00)
854348 53.89 (-0.00) 54.23 (-0.00) 54.24 (+0.00) 162.37 (+0.00)
7ba5c2 53.90 (-0.01) 54.23 (-0.00) 54.23 (+0.00) 162.37 (-0.00)
ebea29 54.41 (+0.01) 54.25 (+0.00) 54.23 (-0.01) 162.89 (+0.00)
22c890 53.89 (-0.00) 54.24 (-0.00) 54.75 (+0.01) 162.88 (+0.00)
f0b2e0 53.90 (+0.00) 54.24 (-0.01) 54.23 (-0.00) 162.38 (-0.00)
dec580 53.90 (-0.01) 54.75 (+0.01) 54.24 (+0.00) 162.88 (-0.00)
dec580 54.40 (-0.00) 54.24 (-0.00) 54.23 (-0.00) 162.88 (-0.00)
b1c2a6 54.41 (+0.01) 54.24 (+0.00) 54.24 (+0.00) 162.89 (+0.00)
931094 53.90 (+0.00) 54.23 (-0.00) 54.23 (-0.01) 162.37 (-0.00)
957acb 53.89 (-0.00) 54.24 (+0.00) 54.75 (-0.00) 162.88 (-0.00)
846532 54.11 (+0.00) 54.23 (-0.00) 54.75 (+0.01) 163.10 (+0.00)
d733bc 53.89 (+0.00) 54.24 (-0.00) 54.23 (+0.00) 162.36 (+0.00)
75ffe3 53.89 (-0.00) 54.43 (+0.00) 54.04 (-0.00) 162.35 (-0.00)
75ffe3 53.89 (-0.01) 54.24 (-0.00) 54.23 (-0.00) 162.36 (-0.00)
bf4623 54.40 (+0.01) 54.25 (+0.00) 54.23 (+0.00) 162.88 (+0.00)
b26c83 53.89 (+0.00) 54.24 (+0.00) 54.23 (-0.01) 162.36 (-0.00)
9d714a 53.89 (+0.00) 54.23 (-0.00) 54.74 (+0.01) 162.87 (+0.00)
6efea4 53.89 (+0.00) 54.24 (-0.01) 54.23 (-0.00) 162.36 (-0.00)
4071ff 53.87 (-0.01) 54.75 (+0.01) 54.24 (+0.00) 162.86 (-0.00)
4071ff 54.40 (+0.01) 54.24 (-0.01) 54.23 (-0.00) 162.88 (+0.00)
870ba4 53.89 (+0.00) 54.75 (-0.00) 54.24 (+0.00) 162.88 (+0.00)
f5ca89 53.88 (-0.00) 54.75 (+0.01) 54.24 (+0.00) 162.88 (+0.00)
8bd565 53.89 (-0.00) 54.24 (+0.00) 54.23 (+0.00) 162.36 (+0.00)
dd22c8 53.90 (+0.00) 54.24 (+0.00) 54.23 (-0.00) 162.36 (+0.00)
299db9 53.89 (-0.00) 54.23 (-0.00) 54.23 (+0.00) 162.36 (+0.00)
93f3f4 53.89 (-0.00) 54.24 (+0.00) 54.23 (-0.01) 162.36 (-0.00)
f6e2e0 53.89 (-0.00) 54.23 (-0.00) 54.74 (+0.01) 162.87 (+0.00)
f6e2e0 53.90 (+0.00) 54.23 (-0.00) 54.23 (+0.00) 162.36 (+0.00)
f6e2e0 53.89 (-0.00) 54.24 (+0.00) 54.23 (+0.00) 162.36 (+0.00)
f1d960 53.89 (-0.00) 54.24 (+0.00) 54.23 (-0.00) 162.36 (+0.00)
4a9279 53.89 (+0.00) 54.23 (-0.00) 54.23 (-0.00) 162.36 (+0.00)
2e4bf7 53.89 (-0.00) 54.23 (-0.00) 54.23 (+0.00) 162.35 (-0.00)
ce8fbb 53.89 (+0.00) 54.24 (+0.00) 54.23 (-0.01) 162.36 (-0.00)
ce8fbb 53.89 (-0.00) 54.24 (-0.00) 54.74 (+0.01) 162.87 (+0.00)
ce8fbb 53.89 (-0.01) 54.24 (+0.00) 54.22 (-0.00) 162.36 (-0.00)
d1a0f2 54.41 (+0.01) 54.23 (-0.00) 54.23 (-0.01) 162.88 (+0.00)
ccf92d 53.89 (+0.00) 54.24 (+0.00) 54.74 (-0.00) 162.87 (-0.00)
02b8e0 53.89 (+0.00) 54.24 (+0.00) 54.74 (-0.00) 162.87 (-0.00)
7b9057 53.89 (-0.00) 54.24 (+0.00) 54.75 (+0.01) 162.87 (+0.00)
9cada8 53.89 (-0.00) 54.24 (+0.00) 54.22 (-0.00) 162.36 (+0.00)
9cada8 53.89 (+0.00) 54.23 (-0.00) 54.23 (-0.00) 162.36 (+0.00)
9cada8 53.89 (-0.00) 54.23 (-0.00) 54.23 (-0.00) 162.35 (-0.00)
a60f68 53.95 (+0.00) 54.24 (-0.01) 54.23 (+0.00) 162.42 (-0.00)
d19c52 53.89 (+0.00) 54.75 (+0.01) 54.23 (+0.00) 162.87 (+0.00)
000eb1 53.89 (-0.01) 54.24 (+0.00) 54.23 (-0.00) 162.36 (-0.00)
000eb1 54.41 (+0.01) 54.24 (+0.00) 54.23 (+0.00) 162.88 (+0.00)
f51b48 53.89 (-0.00) 54.24 (+0.00) 54.23 (-0.00) 162.36 (+0.00)
f51b48 53.89 (-0.01) 54.23 (-0.00) 54.23 (-0.00) 162.36 (-0.00)
f51b48 54.41 (+0.01) 54.24 (-0.01) 54.24 (+0.00) 162.88 (+0.00)
9f906f 53.89 (-0.00) 54.75 (+0.00) 54.23 (-0.00) 162.88 (-0.00)
0692ff 53.97 (+0.00) 54.75 (+0.01) 54.23 (-0.00) 162.95 (+0.00)
2caece 53.90 (+0.00) 54.23 (-0.00) 54.23 (+0.00) 162.36 (+0.00)
bc7d3c 53.90 (-0.01) 54.23 (-0.00) 54.23 (+0.00) 162.36 (-0.00)
2153d2 54.40 (+0.01) 54.24 (-0.01) 54.23 (-0.00) 162.88 (-0.00)
2153d2 53.90 (+0.00) 54.75 (+0.01) 54.23 (-0.00) 162.88 (+0.00)
2153d2 53.89 (-0.00) 54.24 (+0.00) 54.23 (-0.00) 162.36 (-0.00)
a1b062 53.90 (+0.00) 54.24 (+0.00) 54.23 (-0.01) 162.37 (-0.00)
1d9d7c 53.89 (-0.00) 54.24 (-0.00) 54.75 (+0.01) 162.88 (+0.00)
3569c1 53.90 (+0.00) 54.25 (-0.01) 54.22 (-0.00) 162.37 (-0.00)
eaff14 53.90 (+0.00) 54.75 (-0.00) 54.24 (+0.00) 162.88 (+0.00)
f383b4 53.89 (+0.00) 54.75 (-0.00) 54.23 (-0.00) 162.87 (-0.00)
f383b4 53.89 (-0.00) 54.75 (+0.01) 54.35 (-0.01) 163.00 (+0.00)
f383b4 53.89 (-0.00) 54.24 (+0.00) 54.74 (+0.01) 162.88 (+0.00)
a4256b 53.90 (+0.00) 54.24 (-0.00) 54.23 (+0.00) 162.36 (-0.00)
371493 53.89 (-0.00) 54.33 (+0.00) 54.14 (-0.00) 162.36 (-0.00)
c5c143 53.89 (-0.00) 54.23 (-0.00) 54.23 (-0.00) 162.36 (-0.00)
58fa4f 53.91 (+0.00) 54.23 (-0.01) 54.23 (-0.00) 162.38 (-0.00)
121d53 53.90 (+0.00) 54.75 (+0.01) 54.23 (-0.01) 162.88 (-0.00)
121d53 53.89 (-0.01) 54.24 (+0.00) 54.75 (+0.01) 162.88 (-0.00)
ec3a3a 54.52 (+0.01) 54.15 (-0.00) 54.23 (+0.00) 162.90 (+0.00)
96e783 53.90 (-0.01) 54.24 (+0.00) 54.22 (-0.00) 162.36 (-0.00)
567b71 54.41 (+0.00) 54.24 (-0.00) 54.23 (+0.00) 162.88 (+0.00)
847fc5 54.41 (+0.00) 54.24 (+0.00) 54.23 (+0.00) 162.88 (+0.00)
5e08b3 54.41 (+0.01) 54.24 (+0.00) 54.23 (-0.00) 162.87 (+0.00)
4d291d 53.89 (+0.00) 54.24 (+0.00) 54.23 (-0.00) 162.36 (+0.00)
4d291d 53.89 (-0.00) 54.23 (-0.00) 54.23 (-0.00) 162.36 (-0.00)
bf63f1 53.90 (+0.00) 54.23 (-0.00) 54.23 (-0.01) 162.36 (-0.00)
0a0958 53.88 (-0.02) 54.23 (-0.04) 54.75 (-0.01) 162.86 (-0.02)
aabca5 54.79 (+0.02) 56.68 (+0.05) 55.30 (+0.02) 166.78 (+0.03)
a4be54 53.88 (+0.00) 54.23 (-0.01) 54.23 (-0.00) 162.35 (-0.00)
a3d7ad 53.87 (-0.00) 54.75 (+0.01) 54.23 (+0.00) 162.86 (+0.00)
a3d7ad 53.89 (+0.00) 54.24 (+0.00) 54.23 (-0.01) 162.36 (-0.00)
8ba169 53.88 (+0.00) 54.23 (-0.01) 54.75 (+0.01) 162.87 (+0.00)
e5cc2f 53.88 (-0.00) 54.75 (+0.01) 54.23 (+0.00) 162.87 (+0.00)
c6b56d 53.88 (-0.00) 54.24 (+0.00) 54.23 (-0.00) 162.34 (-0.00)
e067cd 53.89 (-0.01) 54.24 (-0.00) 54.23 (-0.00) 162.36 (-0.00)
bce423 54.39 (-0.00) 54.24 (-0.00) 54.50 (+0.00) 163.13 (+0.00)
bce423 54.40 (+0.01) 54.24 (+0.00) 54.23 (+0.00) 162.87 (+0.00)
c28bfd 53.88 (+0.00) 54.24 (+0.00) 54.23 (+0.00) 162.34 (+0.00)
95bf19 53.86 (-0.01) 54.22 (-0.00) 54.21 (-0.00) 162.30 (-0.00)
95bf19 54.38 (+0.01) 54.22 (+0.00) 54.21 (-0.00) 162.82 (+0.00)
080752 53.87 (-0.01) 54.22 (-0.00) 54.21 (-0.01) 162.30 (-0.01)
23d5e2 54.36 (+0.01) 54.22 (-0.01) 54.60 (+0.01) 163.19 (+0.00)
23d5e2 53.86 (-0.01) 54.74 (+0.01) 54.22 (+0.00) 162.81 (-0.00)
8b710b 54.39 (+0.00) 54.22 (-0.00) 54.21 (+0.00) 162.82 (+0.00)
8c6e60 54.39 (+0.01) 54.22 (+0.00) 54.21 (-0.01) 162.82 (+0.00)
10dae7 53.86 (-0.00) 54.22 (+0.00) 54.73 (+0.01) 162.81 (+0.00)
4c4d3d 53.87 (+0.00) 54.22 (-0.01) 54.21 (-0.00) 162.30 (-0.00)
9f94d0 53.86 (-0.00) 54.74 (+0.01) 54.22 (+0.00) 162.81 (+0.00)
9f94d0 53.86 (+0.00) 54.23 (+0.00) 54.20 (-0.01) 162.30 (-0.00)
9f94d0 53.85 (+0.00) 54.22 (+0.00) 54.73 (+0.01) 162.80 (+0.00)
c700c7 53.85 (-0.00) 54.22 (+0.00) 54.25 (+0.00) 162.32 (+0.00)
42c6dd 53.86 (-0.00) 54.22 (-0.00) 54.22 (+0.00) 162.30 (-0.00)
f6bf7b 53.87 (+0.00) 54.22 (+0.00) 54.21 (-0.00) 162.30 (-0.00)
1137b5 53.87 (-0.00) 54.22 (+0.00) 54.22 (+0.00) 162.30 (+0.00)
1468c6 53.87 (+0.00) 54.21 (-0.00) 54.21 (-0.00) 162.30 (+0.00)
1468c6 53.86 (+0.00) 54.22 (-0.00) 54.21 (-0.01) 162.30 (-0.00)
c01f92 53.86 (-0.01) 54.22 (-0.00) 54.72 (+0.01) 162.80 (-0.00)
7ff591 54.38 (+0.01) 54.23 (+0.00) 54.21 (-0.00) 162.81 (+0.00)
5d4774 53.87 (+0.00) 54.21 (-0.00) 54.22 (+0.00) 162.30 (+0.00)
56d8c2 53.86 (-0.00) 54.22 (-0.01) 54.21 (-0.00) 162.30 (-0.00)
12e6f4 53.86 (+0.00) 54.73 (+0.01) 54.22 (-0.01) 162.81 (+0.00)
12e6f4 53.86 (-0.00) 54.22 (+0.00) 54.72 (+0.01) 162.80 (+0.00)
61194a 53.87 (-0.00) 54.21 (-0.01) 54.22 (-0.00) 162.29 (-0.00)
70ce01 53.87 (+0.00) 54.73 (+0.01) 54.22 (+0.00) 162.83 (+0.00)
c04c20 53.86 (-0.01) 54.22 (+0.00) 54.21 (-0.00) 162.30 (-0.00)
827ee1 54.39 (+0.01) 54.22 (-0.01) 54.21 (-0.00) 162.82 (-0.00)
22ae67 53.88 (+0.00) 54.73 (-0.00) 54.22 (+0.00) 162.83 (+0.00)
0f4458 53.88 (+0.00) 54.74 (+0.01) 54.21 (-0.00) 162.83 (+0.00)
0f4458 53.87 (-0.01) 54.22 (+0.00) 54.21 (-0.00) 162.30 (-0.00)
0f4458 54.39 (+0.01) 54.22 (+0.00) 54.21 (-0.00) 162.82 (+0.00)
b8a566 53.87 (+0.00) 54.22 (-0.01) 54.21 (+0.00) 162.30 (-0.00)
b8a566 53.87 (+0.05) 54.74 (+0.07) 54.21 (+0.06) 162.82 (+0.06)
9747e9 51.33 (-0.04) 51.16 (-0.06) 51.15 (-0.06) 153.64 (-0.05)
b50e07 53.44 (-0.00) 54.22 (+0.00) 54.24 (+0.00) 161.90 (+0.00)
6a57d5 53.44 (-0.01) 54.22 (-0.00) 54.21 (+0.00) 161.87 (-0.00)
c0480f 53.97 (-0.00) 54.22 (+0.00) 54.21 (-0.00) 162.41 (+0.00)
4f443c 53.98 (+0.01) 54.21 (-0.00) 54.21 (-0.01) 162.40 (+0.00)
4f443c 53.44 (-0.01) 54.22 (+0.00) 54.72 (+0.01) 162.38 (-0.00)
788823 53.98 (+0.01) 54.21 (-0.01) 54.21 (-0.02) 162.40 (-0.01)
c21104 53.47 (+0.00) 54.73 (+0.01) 55.54 (+0.01) 163.74 (+0.01)
b9544a 53.46 (-0.01) 54.22 (+0.00) 54.72 (+0.01) 162.40 (+0.00)
33834c 53.96 (+0.01) 54.22 (+0.00) 54.21 (-0.01) 162.39 (+0.00)
521667 53.44 (-0.01) 54.22 (-0.00) 54.73 (+0.01) 162.39 (-0.00)
361648 53.97 (+0.01) 54.22 (+0.00) 54.21 (-0.01) 162.40 (-0.00)
fc0629 53.47 54.21 54.72 162.40

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query2]

platform: rds-postgres

revision Q2/1 Q2/2 Q2/3 total_duration
41aa62 53.85 (+0.00) 54.20 (-0.01) 54.20 (-0.00) 162.25 (-0.00)
7b5489 53.85 (+0.00) 54.71 (-0.00) 54.20 (+0.00) 162.76 (-0.00)
a23b07 53.85 (-0.00) 54.72 (+0.00) 54.19 (-0.00) 162.76 (-0.00)
cc2d00 53.85 (-0.00) 54.72 (+0.01) 54.20 (+0.00) 162.77 (+0.00)
ba9df2 53.85 (-0.01) 54.20 (-0.00) 54.19 (-0.00) 162.25 (-0.00)
a8f354 54.37 (+0.01) 54.21 (+0.00) 54.20 (-0.01) 162.78 (+0.00)
7feb0d 53.86 (-0.01) 54.20 (-0.00) 54.72 (+0.01) 162.78 (-0.00)
982fce 54.40 (+0.01) 54.22 (+0.00) 54.21 (-0.01) 162.83 (-0.00)
1f151d 53.89 (+0.00) 54.21 (-0.00) 54.74 (+0.00) 162.83 (-0.00)
ff1a1a 53.89 (+0.00) 54.21 (-0.00) 54.73 (+0.00) 162.83 (+0.00)
b1477b 53.88 (-0.00) 54.21 (-0.00) 54.73 (+0.00) 162.82 (-0.00)
1b947f 53.89 (+0.00) 54.23 (-0.01) 54.71 (+0.01) 162.83 (-0.00)
a21b55 53.89 (-0.00) 54.73 (+0.01) 54.22 (+0.00) 162.84 (+0.00)
4ba950 53.96 (+0.00) 54.14 (-0.00) 54.21 (+0.00) 162.32 (+0.00)
4e359d 53.89 (+0.00) 54.22 (+0.00) 54.21 (-0.01) 162.31 (-0.00)
3837fc 53.87 (-0.00) 54.21 (-0.01) 54.73 (+0.01) 162.82 (-0.00)
edcf4d 53.88 (-0.01) 54.73 (+0.01) 54.22 (+0.00) 162.83 (+0.00)
411c71 54.25 (+0.01) 54.22 (-0.01) 54.21 (-0.00) 162.68 (-0.00)
854348 53.89 (-0.01) 54.73 (+0.01) 54.21 (+0.00) 162.84 (+0.00)
7ba5c2 54.39 (+0.01) 54.23 (+0.00) 54.21 (-0.01) 162.83 (-0.00)
ebea29 53.88 (-0.00) 54.22 (+0.00) 54.73 (+0.01) 162.84 (+0.00)
22c890 53.89 (+0.00) 54.22 (-0.00) 54.21 (-0.01) 162.32 (-0.00)
f0b2e0 53.88 (+0.00) 54.22 (+0.00) 54.73 (+0.01) 162.83 (+0.00)
dec580 53.88 (+0.00) 54.22 (+0.00) 54.22 (+0.00) 162.31 (+0.00)
dec580 53.88 (+0.00) 54.21 (-0.00) 54.22 (+0.00) 162.31 (+0.00)
b1c2a6 53.87 (-0.00) 54.22 (-0.01) 54.22 (-0.01) 162.31 (-0.01)
931094 53.88 (-0.00) 54.73 (+0.01) 54.62 (+0.01) 163.23 (+0.01)
957acb 53.88 (+0.00) 54.22 (+0.00) 54.21 (-0.00) 162.31 (+0.00)
846532 53.88 (-0.01) 54.22 (-0.00) 54.21 (+0.00) 162.31 (-0.00)
d733bc 54.39 (-0.00) 54.23 (+0.00) 54.21 (-0.00) 162.83 (-0.00)
75ffe3 54.39 (+0.01) 54.22 (-0.01) 54.22 (+0.00) 162.83 (-0.00)
75ffe3 53.88 (+0.00) 54.74 (+0.01) 54.21 (+0.00) 162.83 (+0.00)
bf4623 53.87 (+0.00) 54.22 (+0.00) 54.21 (-0.01) 162.30 (-0.00)
b26c83 53.87 (-0.00) 54.21 (-0.00) 54.74 (+0.01) 162.82 (+0.00)
9d714a 53.88 (-0.00) 54.22 (+0.00) 54.21 (-0.01) 162.32 (-0.00)
6efea4 53.90 (+0.00) 54.21 (-0.00) 54.73 (+0.01) 162.84 (+0.00)
4071ff 53.87 (-0.00) 54.22 (-0.00) 54.21 (-0.00) 162.30 (-0.00)
4071ff 53.87 (-0.00) 54.22 (+0.00) 54.21 (-0.00) 162.31 (+0.00)
870ba4 53.88 (+0.00) 54.21 (-0.00) 54.21 (-0.00) 162.30 (-0.00)
f5ca89 53.88 (+0.00) 54.22 (-0.01) 54.22 (+0.00) 162.32 (-0.00)
8bd565 53.87 (-0.00) 54.74 (+0.01) 54.22 (-0.01) 162.83 (+0.00)
dd22c8 53.88 (+0.00) 54.22 (-0.01) 54.72 (+0.01) 162.82 (-0.00)
299db9 53.87 (-0.01) 54.74 (+0.01) 54.21 (-0.00) 162.82 (-0.00)
93f3f4 54.40 (+0.01) 54.21 (-0.00) 54.22 (+0.00) 162.83 (+0.00)
f6e2e0 53.87 (-0.00) 54.23 (-0.01) 54.21 (-0.00) 162.31 (-0.00)
f6e2e0 53.88 (+0.00) 54.74 (+0.00) 54.22 (+0.00) 162.83 (+0.00)
f6e2e0 53.87 (-0.00) 54.73 (-0.00) 54.21 (-0.00) 162.82 (-0.00)
f1d960 53.87 (-0.01) 54.74 (+0.01) 54.22 (+0.00) 162.83 (+0.00)
4a9279 54.39 (-0.00) 54.22 (+0.00) 54.21 (-0.00) 162.82 (-0.00)
2e4bf7 54.39 (-0.00) 54.22 (+0.00) 54.22 (+0.00) 162.83 (+0.00)
ce8fbb 54.40 (+0.01) 54.22 (-0.00) 54.21 (+0.00) 162.83 (+0.00)
ce8fbb 53.87 (-0.00) 54.23 (-0.01) 54.21 (-0.00) 162.31 (-0.00)
ce8fbb 53.88 (+0.00) 54.74 (+0.01) 54.21 (-0.01) 162.83 (+0.00)
d1a0f2 53.87 (-0.00) 54.22 (+0.00) 54.73 (+0.01) 162.82 (+0.00)
ccf92d 53.90 (+0.00) 54.20 (-0.00) 54.21 (-0.00) 162.31 (-0.00)
02b8e0 53.88 (-0.00) 54.22 (+0.00) 54.21 (-0.00) 162.31 (-0.00)
7b9057 53.88 (-0.01) 54.22 (-0.00) 54.21 (+0.00) 162.32 (-0.00)
9cada8 54.39 (-0.00) 54.22 (-0.00) 54.21 (+0.00) 162.83 (-0.00)
9cada8 54.39 (+0.00) 54.23 (+0.00) 54.20 (-0.00) 162.83 (-0.00)
9cada8 54.39 (+0.01) 54.23 (-0.01) 54.22 (+0.00) 162.83 (-0.00)
a60f68 53.94 (+0.00) 54.72 (+0.01) 54.22 (+0.00) 162.88 (+0.00)
d19c52 53.88 (-0.01) 54.22 (-0.00) 54.21 (+0.00) 162.31 (-0.00)
000eb1 54.39 (+0.01) 54.22 (+0.00) 54.21 (-0.01) 162.83 (+0.00)
000eb1 53.88 (+0.00) 54.21 (-0.01) 54.73 (+0.01) 162.82 (-0.00)
f51b48 53.88 (+0.00) 54.73 (+0.01) 54.21 (-0.01) 162.82 (-0.00)
f51b48 53.87 (-0.00) 54.22 (-0.00) 54.73 (+0.01) 162.82 (+0.00)
f51b48 53.87 (-0.00) 54.22 (+0.00) 54.21 (+0.00) 162.30 (-0.00)
9f906f 53.88 (-0.00) 54.21 (-0.00) 54.21 (-0.00) 162.30 (-0.00)
0692ff 53.94 (+0.00) 54.22 (+0.00) 54.21 (-0.01) 162.37 (-0.00)
2caece 53.87 (-0.01) 54.22 (+0.00) 54.73 (+0.01) 162.83 (-0.00)
bc7d3c 54.40 (+0.01) 54.21 (-0.00) 54.22 (+0.00) 162.83 (+0.00)
2153d2 53.87 (-0.00) 54.22 (+0.00) 54.21 (-0.00) 162.31 (-0.00)
2153d2 53.88 (+0.00) 54.22 (+0.00) 54.21 (-0.01) 162.31 (-0.00)
2153d2 53.87 (-0.00) 54.22 (-0.01) 54.73 (+0.01) 162.82 (-0.00)
a1b062 53.88 (-0.00) 54.73 (+0.01) 54.21 (-0.00) 162.83 (+0.00)
1d9d7c 53.88 (-0.00) 54.22 (-0.00) 54.21 (-0.01) 162.32 (-0.00)
3569c1 53.88 (+0.00) 54.22 (+0.00) 54.72 (+0.01) 162.82 (+0.00)
eaff14 53.88 (-0.00) 54.21 (+0.00) 54.22 (+0.00) 162.31 (-0.00)
f383b4 53.92 (+0.00) 54.18 (-0.00) 54.21 (-0.00) 162.31 (+0.00)
f383b4 53.88 (-0.00) 54.22 (+0.00) 54.21 (-0.00) 162.31 (+0.00)
f383b4 53.88 (-0.01) 54.21 (-0.00) 54.21 (-0.00) 162.31 (-0.00)
a4256b 54.40 (+0.00) 54.22 (-0.00) 54.22 (+0.00) 162.83 (-0.00)
371493 54.39 (+0.01) 54.22 (-0.01) 54.21 (-0.00) 162.83 (+0.00)
c5c143 53.87 (-0.01) 54.74 (+0.01) 54.22 (+0.00) 162.83 (-0.00)
58fa4f 54.39 (+0.01) 54.23 (+0.00) 54.21 (-0.00) 162.83 (+0.00)
121d53 53.88 (+0.00) 54.21 (-0.00) 54.21 (+0.00) 162.31 (+0.00)
121d53 53.88 (+0.00) 54.22 (+0.00) 54.21 (-0.00) 162.31 (-0.00)
ec3a3a 53.87 (-0.00) 54.22 (-0.01) 54.22 (+0.00) 162.31 (-0.00)
96e783 53.88 (+0.00) 54.74 (+0.01) 54.20 (-0.01) 162.83 (+0.00)
567b71 53.87 (-0.00) 54.22 (+0.00) 54.72 (+0.01) 162.82 (+0.00)
847fc5 53.87 (-0.00) 54.21 (-0.00) 54.21 (+0.00) 162.30 (-0.00)
5e08b3 53.87 (-0.01) 54.22 (-0.00) 54.21 (+0.00) 162.30 (-0.00)
4d291d 54.39 (+0.00) 54.23 (+0.00) 54.20 (-0.00) 162.82 (-0.00)
4d291d 54.39 (+0.01) 54.22 (-0.01) 54.21 (-0.00) 162.82 (-0.00)
bf63f1 53.87 (-0.00) 54.73 (+0.01) 54.22 (+0.00) 162.82 (+0.00)
0a0958 53.87 (-0.01) 54.22 (-0.00) 54.21 (+0.00) 162.30 (-0.00)
aabca5 54.38 (-0.00) 54.47 (+0.00) 54.21 (-0.00) 163.06 (+0.00)
a4be54 54.39 (+0.01) 54.22 (+0.00) 54.22 (+0.00) 162.83 (+0.00)
a3d7ad 53.88 (+0.00) 54.22 (+0.00) 54.22 (-0.01) 162.31 (-0.00)
a3d7ad 53.86 (-0.00) 54.22 (+0.00) 54.73 (+0.01) 162.81 (+0.00)
8ba169 53.87 (+0.00) 54.22 (+0.00) 54.21 (-0.00) 162.30 (+0.00)
e5cc2f 53.87 (-0.01) 54.22 (+0.00) 54.21 (-0.00) 162.30 (-0.00)
c6b56d 54.39 (+0.01) 54.22 (+0.00) 54.21 (-0.01) 162.82 (+0.00)
e067cd 53.87 (-0.00) 54.21 (-0.00) 54.73 (+0.01) 162.81 (+0.00)
bce423 53.87 (+0.00) 54.22 (+0.00) 54.21 (-0.00) 162.30 (-0.00)
bce423 53.86 (-0.01) 54.22 (-0.00) 54.22 (+0.00) 162.30 (-0.00)
c28bfd 54.39 (+0.01) 54.23 (+0.00) 54.20 (-0.01) 162.82 (+0.00)
95bf19 53.85 (+0.00) 54.20 (-0.00) 54.71 (+0.01) 162.76 (+0.00)
95bf19 53.84 (-0.01) 54.20 (-0.00) 54.19 (-0.00) 162.23 (-0.00)
080752 54.38 (+0.01) 54.20 (+0.00) 54.20 (-0.01) 162.78 (-0.00)
23d5e2 53.92 (+0.00) 54.20 (+0.00) 54.71 (+0.01) 162.83 (+0.00)
23d5e2 53.85 (+0.00) 54.20 (-0.00) 54.19 (-0.00) 162.24 (+0.00)
8b710b 53.84 (-0.00) 54.20 (-0.00) 54.20 (-0.01) 162.24 (-0.00)
8c6e60 53.84 (+0.00) 54.20 (-0.00) 54.71 (+0.01) 162.75 (+0.00)
10dae7 53.84 (-0.00) 54.20 (-0.01) 54.20 (+0.00) 162.23 (-0.00)
4c4d3d 53.85 (+0.00) 54.71 (+0.01) 54.20 (+0.00) 162.76 (+0.00)
9f94d0 53.85 (+0.00) 54.20 (-0.01) 54.19 (-0.00) 162.25 (-0.00)
9f94d0 53.85 (+0.00) 54.72 (+0.01) 54.20 (+0.00) 162.76 (+0.00)
9f94d0 53.85 (-0.01) 54.20 (-0.00) 54.19 (+0.00) 162.24 (-0.00)
c700c7 54.36 (-0.00) 54.21 (+0.00) 54.19 (+0.00) 162.76 (+0.00)
42c6dd 54.37 (-0.00) 54.20 (-0.00) 54.19 (-0.00) 162.75 (-0.00)
f6bf7b 54.38 (+0.01) 54.20 (-0.01) 54.19 (-0.00) 162.77 (+0.00)
1137b5 53.85 (+0.00) 54.71 (-0.00) 54.20 (+0.00) 162.77 (+0.00)
1468c6 53.84 (-0.00) 54.72 (+0.00) 54.19 (-0.00) 162.76 (-0.00)
1468c6 53.86 (+0.00) 54.72 (+0.01) 54.19 (-0.00) 162.77 (+0.00)
c01f92 53.85 (+0.00) 54.19 (-0.00) 54.20 (+0.00) 162.25 (+0.00)
7ff591 53.84 (-0.01) 54.20 (-0.00) 54.20 (+0.00) 162.24 (-0.00)
5d4774 54.37 (+0.01) 54.25 (-0.01) 54.14 (-0.00) 162.76 (-0.00)
56d8c2 53.85 (+0.00) 54.72 (+0.01) 54.19 (-0.00) 162.76 (+0.00)
12e6f4 53.84 (+0.00) 54.20 (-0.00) 54.20 (+0.00) 162.24 (+0.00)
12e6f4 53.84 (+0.00) 54.20 (-0.01) 54.19 (-0.00) 162.24 (-0.00)
61194a 53.84 (-0.00) 54.72 (+0.01) 54.20 (+0.00) 162.75 (+0.00)
70ce01 53.85 (-0.01) 54.20 (-0.00) 54.20 (+0.00) 162.24 (-0.00)
c04c20 54.39 (+0.01) 54.20 (+0.00) 54.19 (-0.01) 162.79 (+0.00)
827ee1 53.94 (+0.00) 54.12 (-0.00) 54.70 (+0.01) 162.76 (+0.00)
22ae67 53.86 (+0.00) 54.20 (-0.00) 54.20 (+0.00) 162.26 (+0.00)
0f4458 53.84 (-0.00) 54.20 (+0.00) 54.20 (-0.01) 162.24 (-0.00)
0f4458 53.85 (+0.00) 54.20 (-0.00) 54.71 (+0.00) 162.76 (+0.00)
0f4458 53.85 (+0.00) 54.20 (-0.01) 54.71 (+0.01) 162.76 (+0.00)
b8a566 53.85 (+0.00) 54.71 (+0.01) 54.20 (+0.00) 162.76 (+0.00)
b8a566 53.85 (+0.06) 54.20 (+0.06) 54.19 (+0.06) 162.24 (+0.06)
9747e9 50.79 (-0.06) 51.14 (-0.07) 51.13 (-0.06) 153.06 (-0.06)
b50e07 53.98 (-0.00) 54.71 (+0.01) 54.21 (-0.01) 162.90 (-0.00)
6a57d5 54.01 (-0.00) 54.20 (+0.00) 54.71 (+0.01) 162.92 (+0.00)
c0480f 54.03 (+0.00) 54.20 (+0.00) 54.19 (+0.00) 162.42 (+0.00)
4f443c 54.01 (-0.00) 54.18 (-0.00) 54.18 (-0.00) 162.38 (-0.00)
4f443c 54.03 (+0.00) 54.19 (-0.00) 54.19 (-0.01) 162.41 (-0.00)
788823 54.02 (+0.01) 54.20 (+0.00) 54.71 (+0.01) 162.93 (+0.01)
c21104 53.73 (-0.01) 54.18 (-0.00) 54.20 (+0.00) 162.12 (-0.00)
b9544a 54.02 (-0.00) 54.20 (+0.00) 54.19 (-0.00) 162.40 (-0.00)
33834c 54.03 (-0.00) 54.20 (+0.00) 54.19 (+0.00) 162.42 (+0.00)
521667 54.03 (+0.00) 54.19 (-0.00) 54.19 (-0.00) 162.41 (+0.00)
361648 54.00 (-0.00) 54.20 (+0.00) 54.19 (+0.00) 162.39 (-0.00)
fc0629 54.00 54.20 54.19 162.39

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query3]

platform: rds-postgres

revision Q3/1 Q3/2 Q3/3 total_duration
41aa62 1.56 (-0.03) 1.74 (+0.13) 1.57 (-0.03) 4.88 (+0.03)
7b5489 1.60 (+0.02) 1.53 (-0.11) 1.61 (-0.12) 4.75 (-0.07)
a23b07 1.57 (-0.04) 1.71 (+0.09) 1.82 (+0.11) 5.10 (+0.05)
cc2d00 1.63 (+0.03) 1.57 (-0.00) 1.64 (+0.00) 4.84 (+0.01)
ba9df2 1.58 (+0.00) 1.57 (-0.00) 1.63 (-0.01) 4.79 (-0.00)
a8f354 1.58 (-0.00) 1.57 (-0.01) 1.65 (+0.01) 4.80 (-0.00)
7feb0d 1.59 (-0.01) 1.58 (-0.07) 1.64 (+0.02) 4.81 (-0.02)
982fce 1.61 (-0.00) 1.69 (-0.08) 1.61 (-0.01) 4.91 (-0.03)
1f151d 1.61 (-0.04) 1.84 (+0.13) 1.62 (+0.01) 5.08 (+0.04)
ff1a1a 1.67 (+0.01) 1.62 (+0.00) 1.61 (-0.00) 4.91 (+0.00)
b1477b 1.66 (-0.05) 1.62 (+0.01) 1.61 (-0.06) 4.89 (-0.04)
1b947f 1.76 (+0.10) 1.61 (-0.02) 1.71 (-0.03) 5.08 (+0.01)
a21b55 1.61 (-0.04) 1.65 (+0.02) 1.76 (+0.03) 5.02 (+0.01)
4ba950 1.67 (-0.00) 1.61 (+0.00) 1.71 (+0.03) 4.99 (+0.01)
4e359d 1.67 (+0.00) 1.61 (+0.00) 1.66 (+0.03) 4.95 (+0.01)
3837fc 1.66 (+0.04) 1.61 (-0.00) 1.61 (-0.04) 4.88 (-0.00)
edcf4d 1.60 (-0.01) 1.61 (-0.04) 1.68 (+0.04) 4.90 (+0.00)
411c71 1.61 (-0.04) 1.67 (+0.04) 1.61 (+0.00) 4.89 (-0.00)
854348 1.67 (-0.00) 1.61 (+0.00) 1.61 (-0.06) 4.89 (-0.02)
7ba5c2 1.67 (+0.06) 1.61 (-0.06) 1.72 (+0.09) 5.00 (+0.03)
ebea29 1.57 (-0.04) 1.72 (+0.00) 1.58 (+0.01) 4.87 (-0.01)
22c890 1.63 (+0.04) 1.71 (+0.08) 1.56 (-0.08) 4.91 (+0.01)
f0b2e0 1.57 (+0.00) 1.58 (-0.04) 1.69 (+0.08) 4.84 (+0.01)
dec580 1.57 (-0.04) 1.65 (+0.05) 1.57 (+0.00) 4.79 (+0.00)
dec580 1.64 (+0.04) 1.57 (+0.00) 1.57 (-0.01) 4.77 (+0.01)
b1c2a6 1.57 (-0.04) 1.57 (-0.01) 1.58 (+0.01) 4.72 (-0.02)
931094 1.63 (+0.04) 1.59 (-0.09) 1.57 (+0.00) 4.79 (-0.02)
957acb 1.57 (-0.04) 1.74 (+0.11) 1.57 (+0.00) 4.88 (+0.02)
846532 1.63 (-0.01) 1.56 (-0.01) 1.57 (-0.00) 4.76 (-0.01)
d733bc 1.64 (+0.02) 1.57 (-0.03) 1.57 (+0.00) 4.79 (-0.00)
75ffe3 1.60 (+0.02) 1.62 (+0.03) 1.57 (-0.13) 4.79 (-0.03)
75ffe3 1.57 (-0.08) 1.57 (-0.02) 1.81 (+0.15) 4.95 (+0.01)
bf4623 1.70 (+0.09) 1.61 (+0.03) 1.58 (-0.05) 4.89 (+0.02)
b26c83 1.57 (+0.00) 1.56 (-0.10) 1.66 (+0.01) 4.79 (-0.03)
9d714a 1.57 (+0.00) 1.74 (+0.03) 1.64 (+0.04) 4.95 (+0.03)
6efea4 1.57 (+0.01) 1.68 (+0.08) 1.57 (+0.02) 4.83 (+0.04)
4071ff 1.56 (-0.04) 1.56 (-0.04) 1.54 (-0.02) 4.66 (-0.04)
4071ff 1.62 (-0.00) 1.63 (+0.04) 1.58 (-0.02) 4.83 (+0.00)
870ba4 1.62 (+0.04) 1.57 (-0.05) 1.62 (+0.03) 4.81 (+0.00)
f5ca89 1.56 (-0.07) 1.66 (+0.06) 1.57 (+0.00) 4.79 (-0.00)
8bd565 1.67 (+0.00) 1.56 (-0.00) 1.57 (+0.00) 4.80 (-0.00)
dd22c8 1.67 (+0.06) 1.56 (-0.10) 1.57 (+0.00) 4.80 (-0.01)
299db9 1.57 (-0.04) 1.73 (+0.10) 1.57 (-0.03) 4.86 (+0.01)
93f3f4 1.63 (+0.02) 1.57 (+0.00) 1.63 (-0.01) 4.83 (+0.01)
f6e2e0 1.59 (-0.05) 1.56 (-0.01) 1.64 (+0.00) 4.80 (-0.02)
f6e2e0 1.68 (+0.07) 1.57 (-0.04) 1.64 (+0.05) 4.89 (+0.03)
f6e2e0 1.57 (+0.00) 1.63 (+0.01) 1.57 (-0.06) 4.77 (-0.02)
f1d960 1.57 (+0.00) 1.61 (+0.03) 1.67 (+0.00) 4.84 (+0.01)
4a9279 1.56 (-0.02) 1.57 (-0.03) 1.67 (+0.06) 4.80 (+0.00)
2e4bf7 1.58 (+0.00) 1.62 (-0.04) 1.58 (+0.01) 4.78 (-0.01)
ce8fbb 1.58 (+0.01) 1.69 (+0.08) 1.57 (-0.07) 4.84 (+0.00)
ce8fbb 1.57 (-0.00) 1.57 (-0.00) 1.69 (-0.00) 4.82 (-0.00)
ce8fbb 1.57 (-0.03) 1.57 (+0.00) 1.69 (+0.08) 4.83 (+0.01)
d1a0f2 1.62 (-0.01) 1.57 (+0.00) 1.57 (+0.00) 4.76 (-0.00)
ccf92d 1.64 (+0.05) 1.57 (-0.04) 1.57 (-0.00) 4.78 (+0.00)
02b8e0 1.57 (-0.00) 1.63 (-0.03) 1.57 (-0.04) 4.77 (-0.03)
7b9057 1.57 (-0.00) 1.68 (+0.04) 1.64 (-0.03) 4.89 (+0.00)
9cada8 1.57 (+0.01) 1.62 (+0.03) 1.68 (+0.04) 4.88 (+0.03)
9cada8 1.56 (-0.03) 1.57 (+0.01) 1.62 (+0.04) 4.75 (+0.01)
9cada8 1.61 (-0.02) 1.55 (-0.06) 1.55 (-0.04) 4.72 (-0.04)
a60f68 1.64 (+0.01) 1.65 (+0.04) 1.61 (+0.03) 4.90 (+0.02)
d19c52 1.63 (+0.00) 1.59 (+0.01) 1.57 (+0.00) 4.79 (+0.01)
000eb1 1.63 (+0.05) 1.57 (+0.01) 1.56 (+0.01) 4.76 (+0.02)
000eb1 1.55 (-0.00) 1.56 (+0.00) 1.55 (-0.00) 4.67 (+0.00)
f51b48 1.56 (-0.05) 1.55 (-0.00) 1.55 (-0.00) 4.67 (-0.02)
f51b48 1.65 (+0.01) 1.55 (-0.01) 1.55 (-0.01) 4.76 (+0.00)
f51b48 1.63 (-0.04) 1.56 (-0.01) 1.56 (-0.00) 4.75 (-0.02)
9f906f 1.70 (+0.04) 1.57 (-0.06) 1.57 (-0.03) 4.84 (-0.02)
0692ff 1.63 (+0.04) 1.68 (+0.07) 1.62 (-0.10) 4.93 (-0.00)
2caece 1.57 (-0.11) 1.56 (-0.02) 1.80 (+0.15) 4.93 (+0.00)
bc7d3c 1.76 (+0.12) 1.58 (-0.00) 1.57 (-0.01) 4.92 (+0.04)
2153d2 1.57 (-0.00) 1.59 (+0.02) 1.58 (-0.05) 4.74 (-0.01)
2153d2 1.57 (+0.00) 1.57 (-0.11) 1.67 (+0.07) 4.81 (-0.02)
2153d2 1.57 (-0.04) 1.76 (+0.10) 1.57 (-0.00) 4.89 (+0.02)
a1b062 1.63 (+0.03) 1.59 (+0.01) 1.57 (-0.03) 4.80 (+0.00)
1d9d7c 1.58 (+0.00) 1.57 (-0.06) 1.62 (+0.03) 4.78 (-0.01)
3569c1 1.57 (-0.04) 1.66 (+0.02) 1.57 (+0.01) 4.81 (-0.00)
eaff14 1.63 (+0.01) 1.62 (+0.03) 1.56 (+0.01) 4.81 (+0.01)
f383b4 1.62 (+0.00) 1.57 (+0.01) 1.55 (+0.00) 4.75 (+0.01)
f383b4 1.61 (-0.01) 1.55 (-0.06) 1.55 (-0.00) 4.72 (-0.02)
f383b4 1.63 (+0.05) 1.65 (+0.03) 1.55 (-0.05) 4.84 (+0.01)
a4256b 1.56 (-0.02) 1.60 (+0.02) 1.63 (+0.04) 4.79 (+0.01)
371493 1.59 (-0.03) 1.57 (+0.01) 1.57 (+0.01) 4.74 (-0.00)
c5c143 1.64 (+0.04) 1.55 (-0.02) 1.55 (-0.04) 4.74 (-0.01)
58fa4f 1.57 (-0.00) 1.57 (-0.00) 1.62 (+0.03) 4.77 (+0.01)
121d53 1.57 (-0.00) 1.58 (-0.00) 1.58 (-0.03) 4.73 (-0.01)
121d53 1.57 (-0.04) 1.58 (+0.01) 1.63 (+0.04) 4.78 (+0.00)
ec3a3a 1.64 (+0.05) 1.56 (+0.00) 1.57 (-0.04) 4.77 (+0.00)
96e783 1.56 (-0.01) 1.56 (-0.01) 1.63 (+0.00) 4.76 (-0.00)
567b71 1.57 (-0.00) 1.58 (+0.01) 1.62 (+0.03) 4.78 (+0.02)
847fc5 1.57 (-0.01) 1.56 (-0.01) 1.57 (-0.02) 4.70 (-0.01)
5e08b3 1.58 (-0.04) 1.57 (-0.03) 1.61 (+0.03) 4.76 (-0.02)
4d291d 1.65 (+0.05) 1.63 (+0.01) 1.57 (+0.00) 4.84 (+0.02)
4d291d 1.57 (-0.04) 1.62 (+0.01) 1.56 (-0.01) 4.75 (-0.01)
bf63f1 1.63 (+0.05) 1.60 (+0.01) 1.57 (+0.00) 4.80 (+0.02)
0a0958 1.55 (-0.02) 1.59 (+0.02) 1.56 (-0.00) 4.70 (+0.00)
aabca5 1.57 (+0.00) 1.56 (-0.04) 1.56 (+0.00) 4.70 (-0.01)
a4be54 1.57 (+0.01) 1.62 (+0.01) 1.56 (+0.01) 4.74 (+0.01)
a3d7ad 1.55 (-0.04) 1.61 (+0.03) 1.55 (-0.12) 4.71 (-0.04)
a3d7ad 1.61 (-0.00) 1.56 (+0.01) 1.75 (+0.12) 4.93 (+0.04)
8ba169 1.61 (+0.04) 1.55 (-0.02) 1.56 (+0.00) 4.72 (+0.01)
e5cc2f 1.54 (-0.05) 1.58 (+0.02) 1.55 (-0.13) 4.68 (-0.05)
c6b56d 1.62 (+0.04) 1.55 (-0.04) 1.77 (+0.15) 4.95 (+0.05)
e067cd 1.55 (-0.04) 1.62 (+0.04) 1.54 (-0.01) 4.71 (-0.00)
bce423 1.62 (+0.04) 1.55 (-0.08) 1.55 (-0.04) 4.72 (-0.03)
bce423 1.56 (+0.00) 1.69 (+0.03) 1.62 (+0.05) 4.87 (+0.03)
c28bfd 1.55 (-0.01) 1.64 (-0.01) 1.54 (-0.01) 4.74 (-0.01)
95bf19 1.57 (-0.01) 1.65 (+0.01) 1.56 (-0.00) 4.78 (-0.00)
95bf19 1.59 (+0.01) 1.63 (+0.05) 1.56 (+0.02) 4.78 (+0.02)
080752 1.58 (-0.02) 1.55 (-0.01) 1.54 (-0.11) 4.67 (-0.05)
23d5e2 1.62 (+0.04) 1.57 (+0.01) 1.74 (+0.08) 4.93 (+0.05)
23d5e2 1.56 (-0.04) 1.55 (-0.01) 1.61 (+0.02) 4.72 (-0.01)
8b710b 1.62 (-0.02) 1.56 (-0.04) 1.58 (+0.01) 4.76 (-0.02)
8c6e60 1.66 (+0.02) 1.62 (+0.03) 1.56 (-0.00) 4.84 (+0.01)
10dae7 1.63 (+0.02) 1.57 (-0.00) 1.56 (-0.00) 4.77 (+0.00)
4c4d3d 1.61 (+0.04) 1.58 (+0.02) 1.56 (-0.03) 4.75 (+0.01)
9f94d0 1.55 (-0.04) 1.55 (+0.01) 1.61 (+0.05) 4.71 (+0.00)
9f94d0 1.61 (-0.02) 1.54 (-0.02) 1.54 (-0.01) 4.69 (-0.02)
9f94d0 1.65 (+0.06) 1.56 (+0.00) 1.56 (-0.04) 4.78 (+0.01)
c700c7 1.55 (-0.07) 1.55 (+0.00) 1.62 (+0.04) 4.73 (-0.01)
42c6dd 1.66 (-0.04) 1.55 (-0.01) 1.56 (-0.00) 4.78 (-0.02)
f6bf7b 1.74 (+0.08) 1.56 (+0.00) 1.57 (+0.01) 4.86 (+0.03)
1137b5 1.61 (+0.04) 1.56 (+0.01) 1.56 (+0.01) 4.72 (+0.01)
1468c6 1.55 (-0.10) 1.55 (-0.00) 1.55 (-0.00) 4.65 (-0.04)
1468c6 1.71 (+0.09) 1.55 (+0.01) 1.55 (-0.04) 4.82 (+0.02)
c01f92 1.57 (+0.01) 1.54 (+0.00) 1.61 (-0.02) 4.71 (-0.00)
7ff591 1.55 (-0.01) 1.54 (-0.01) 1.64 (+0.05) 4.73 (+0.01)
5d4774 1.56 (-0.15) 1.56 (+0.02) 1.56 (-0.03) 4.69 (-0.06)
56d8c2 1.83 (+0.18) 1.54 (-0.01) 1.60 (-0.03) 4.98 (+0.05)
12e6f4 1.55 (+0.00) 1.55 (+0.01) 1.65 (+0.07) 4.75 (+0.03)
12e6f4 1.55 (+0.01) 1.54 (+0.00) 1.54 (-0.04) 4.62 (-0.01)
61194a 1.54 (-0.19) 1.54 (-0.00) 1.61 (+0.04) 4.68 (-0.06)
70ce01 1.91 (+0.22) 1.54 (-0.07) 1.55 (-0.05) 5.00 (+0.03)
c04c20 1.56 (-0.06) 1.65 (+0.05) 1.63 (+0.04) 4.84 (+0.01)
827ee1 1.66 (+0.06) 1.57 (-0.00) 1.56 (-0.05) 4.80 (+0.00)
22ae67 1.57 (+0.00) 1.57 (+0.00) 1.63 (+0.04) 4.78 (+0.01)
0f4458 1.57 (-0.17) 1.57 (+0.01) 1.57 (+0.01) 4.71 (-0.06)
0f4458 1.88 (+0.22) 1.55 (-0.10) 1.55 (-0.00) 4.99 (+0.04)
0f4458 1.53 (-0.03) 1.73 (+0.11) 1.55 (-0.04) 4.82 (+0.01)
b8a566 1.58 (+0.00) 1.56 (-0.00) 1.61 (-0.16) 4.76 (-0.06)
b8a566 1.58 (-0.05) 1.56 (+0.01) 1.91 (+0.24) 5.05 (+0.07)
9747e9 1.65 (+0.44) 1.54 (+0.11) 1.54 (+0.33) 4.74 (+0.28)
b50e07 1.15 (+0.00) 1.39 (+0.20) 1.15 (-0.04) 3.70 (+0.06)
6a57d5 1.15 (-0.15) 1.16 (+0.02) 1.19 (+0.03) 3.50 (-0.04)
c0480f 1.36 (+0.19) 1.14 (-0.01) 1.16 (+0.01) 3.66 (+0.06)
4f443c 1.14 (+0.01) 1.15 (-0.05) 1.15 (+0.03) 3.44 (-0.01)
4f443c 1.13 (-0.19) 1.21 (+0.06) 1.12 (-0.03) 3.46 (-0.06)
788823 1.39 (+0.21) 1.14 (-0.01) 1.16 (+0.01) 3.69 (+0.07)
c21104 1.14 (-0.07) 1.16 (+0.01) 1.15 (+0.01) 3.45 (-0.02)
b9544a 1.23 (+0.05) 1.15 (-0.03) 1.14 (-0.00) 3.52 (+0.01)
33834c 1.18 (+0.03) 1.18 (-0.03) 1.14 (-0.08) 3.50 (-0.02)
521667 1.14 (-0.01) 1.21 (+0.05) 1.23 (-0.10) 3.59 (-0.02)
361648 1.15 (-0.03) 1.15 (-0.05) 1.36 (+0.19) 3.66 (+0.03)
fc0629 1.19 1.21 1.14 3.55

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query4]

platform: rds-postgres

revision Q4/1 Q4/2 Q4/3 total_duration
41aa62 3.64 (+0.01) 3.73 (+0.01) 3.46 (+0.01) 10.83 (+0.01)
7b5489 3.59 (-0.03) 3.70 (-0.03) 3.43 (-0.04) 10.73 (-0.03)
a23b07 3.68 (-0.00) 3.81 (+0.08) 3.58 (+0.00) 11.07 (+0.03)
cc2d00 3.69 (+0.00) 3.52 (-0.01) 3.56 (-0.11) 10.77 (-0.04)
ba9df2 3.68 (+0.04) 3.57 (-0.05) 4.00 (+0.06) 11.25 (+0.02)
a8f354 3.54 (+0.02) 3.74 (+0.03) 3.76 (+0.05) 11.05 (+0.04)
7feb0d 3.46 (-0.09) 3.62 (-0.03) 3.58 (-0.05) 10.66 (-0.06)
982fce 3.79 (-0.00) 3.73 (-0.02) 3.76 (-0.01) 11.29 (-0.01)
1f151d 3.80 (+0.02) 3.82 (-0.06) 3.81 (-0.01) 11.44 (-0.01)
ff1a1a 3.71 (+0.00) 4.05 (+0.09) 3.84 (+0.03) 11.61 (+0.04)
b1477b 3.70 (+0.01) 3.71 (-0.00) 3.73 (-0.15) 11.15 (-0.05)
1b947f 3.65 (-0.03) 3.73 (+0.01) 4.41 (+0.17) 11.79 (+0.05)
a21b55 3.78 (-0.01) 3.70 (-0.03) 3.76 (-0.06) 11.24 (-0.04)
4ba950 3.81 (-0.05) 3.83 (+0.05) 4.01 (+0.04) 11.65 (+0.01)
4e359d 4.01 (+0.11) 3.66 (-0.01) 3.86 (-0.01) 11.53 (+0.03)
3837fc 3.62 (+0.00) 3.71 (-0.05) 3.91 (+0.01) 11.25 (-0.01)
edcf4d 3.61 (-0.07) 3.90 (+0.00) 3.86 (+0.03) 11.37 (-0.01)
411c71 3.89 (-0.00) 3.88 (+0.02) 3.75 (-0.00) 11.53 (+0.01)
854348 3.90 (+0.04) 3.79 (+0.01) 3.75 (-0.07) 11.45 (-0.01)
7ba5c2 3.76 (+0.02) 3.75 (+0.05) 4.03 (+0.10) 11.54 (+0.06)
ebea29 3.67 (+0.00) 3.59 (-0.06) 3.66 (+0.03) 10.92 (-0.01)
22c890 3.67 (+0.02) 3.81 (+0.05) 3.55 (-0.03) 11.03 (+0.01)
f0b2e0 3.60 (-0.04) 3.64 (+0.02) 3.67 (-0.02) 10.91 (-0.01)
dec580 3.75 (+0.06) 3.56 (-0.04) 3.76 (-0.01) 11.07 (+0.00)
dec580 3.53 (-0.04) 3.72 (+0.05) 3.79 (+0.02) 11.05 (+0.01)
b1c2a6 3.68 (+0.00) 3.55 (-0.03) 3.72 (-0.02) 10.96 (-0.01)
931094 3.67 (-0.04) 3.66 (+0.03) 3.78 (+0.03) 11.12 (+0.01)
957acb 3.81 (-0.00) 3.55 (-0.01) 3.66 (-0.02) 11.02 (-0.01)
846532 3.83 (-0.03) 3.57 (-0.02) 3.73 (+0.07) 11.13 (+0.01)
d733bc 3.94 (+0.05) 3.63 (-0.02) 3.49 (-0.05) 11.06 (-0.01)
75ffe3 3.76 (+0.05) 3.70 (+0.04) 3.69 (-0.06) 11.15 (+0.01)
75ffe3 3.58 (-0.06) 3.56 (-0.08) 3.91 (+0.01) 11.05 (-0.04)
bf4623 3.80 (+0.06) 3.88 (+0.09) 3.87 (-0.01) 11.54 (+0.04)
b26c83 3.59 (-0.01) 3.55 (-0.03) 3.93 (+0.04) 11.07 (+0.00)
9d714a 3.62 (-0.04) 3.66 (+0.00) 3.77 (+0.04) 11.05 (-0.00)
6efea4 3.77 (-0.01) 3.66 (-0.04) 3.62 (-0.01) 11.05 (-0.02)
4071ff 3.79 (-0.05) 3.80 (-0.05) 3.67 (-0.00) 11.27 (-0.03)
4071ff 3.98 (+0.06) 3.98 (+0.10) 3.67 (-0.09) 11.64 (+0.02)
870ba4 3.76 (+0.01) 3.61 (-0.03) 4.01 (+0.11) 11.38 (+0.03)
f5ca89 3.71 (+0.04) 3.72 (-0.02) 3.63 (-0.03) 11.05 (-0.00)
8bd565 3.56 (-0.05) 3.80 (-0.01) 3.74 (-0.05) 11.10 (-0.04)
dd22c8 3.75 (+0.00) 3.84 (+0.02) 3.94 (+0.05) 11.52 (+0.02)
299db9 3.74 (+0.01) 3.77 (+0.01) 3.74 (-0.06) 11.26 (-0.01)
93f3f4 3.70 (+0.02) 3.74 (+0.01) 3.98 (+0.04) 11.41 (+0.02)
f6e2e0 3.64 (-0.01) 3.69 (-0.04) 3.83 (+0.02) 11.16 (-0.01)
f6e2e0 3.67 (-0.06) 3.84 (+0.04) 3.75 (+0.03) 11.25 (+0.00)
f6e2e0 3.90 (+0.05) 3.68 (+0.02) 3.64 (-0.03) 11.21 (+0.01)
f1d960 3.73 (+0.04) 3.62 (+0.01) 3.74 (-0.06) 11.10 (-0.00)
4a9279 3.59 (-0.01) 3.57 (-0.01) 3.98 (+0.05) 11.14 (+0.01)
2e4bf7 3.63 (-0.04) 3.60 (-0.01) 3.78 (+0.02) 11.02 (-0.01)
ce8fbb 3.77 (+0.02) 3.63 (-0.04) 3.72 (+0.01) 11.12 (-0.00)
ce8fbb 3.70 (+0.04) 3.78 (-0.01) 3.69 (-0.01) 11.17 (+0.01)
ce8fbb 3.56 (-0.09) 3.81 (+0.03) 3.73 (+0.02) 11.10 (-0.01)
d1a0f2 3.91 (+0.05) 3.69 (-0.06) 3.65 (-0.00) 11.25 (-0.00)
ccf92d 3.71 (+0.02) 3.92 (+0.07) 3.66 (-0.03) 11.29 (+0.02)
02b8e0 3.62 (-0.06) 3.68 (-0.02) 3.77 (+0.04) 11.08 (-0.01)
7b9057 3.84 (-0.02) 3.74 (+0.04) 3.61 (-0.03) 11.20 (-0.00)
9cada8 3.93 (+0.10) 3.59 (+0.01) 3.72 (-0.03) 11.24 (+0.03)
9cada8 3.59 (-0.06) 3.55 (-0.04) 3.82 (+0.05) 10.96 (-0.02)
9cada8 3.84 (+0.04) 3.72 (-0.07) 3.63 (-0.05) 11.19 (-0.03)
a60f68 3.71 (-0.02) 4.02 (+0.03) 3.83 (+0.02) 11.55 (+0.01)
d19c52 3.80 (+0.06) 3.88 (+0.01) 3.77 (+0.03) 11.45 (+0.03)
000eb1 3.57 (-0.09) 3.83 (+0.05) 3.67 (+0.03) 11.07 (-0.00)
000eb1 3.91 (+0.03) 3.63 (+0.02) 3.56 (-0.03) 11.11 (+0.01)
f51b48 3.79 (+0.05) 3.56 (-0.03) 3.67 (-0.04) 11.01 (-0.01)
f51b48 3.60 (-0.00) 3.69 (-0.02) 3.81 (+0.07) 11.10 (+0.01)
f51b48 3.61 (-0.01) 3.77 (-0.03) 3.56 (-0.06) 10.94 (-0.03)
9f906f 3.64 (-0.03) 3.87 (+0.04) 3.78 (-0.01) 11.29 (+0.00)
0692ff 3.74 (+0.04) 3.71 (+0.04) 3.81 (-0.03) 11.26 (+0.01)
2caece 3.61 (-0.04) 3.58 (-0.05) 3.93 (+0.06) 11.12 (-0.01)
bc7d3c 3.78 (+0.03) 3.78 (+0.05) 3.71 (-0.04) 11.27 (+0.01)
2153d2 3.66 (+0.01) 3.60 (-0.00) 3.87 (+0.01) 11.13 (+0.00)
2153d2 3.63 (-0.07) 3.61 (-0.02) 3.84 (+0.05) 11.08 (-0.02)
2153d2 3.90 (+0.05) 3.69 (-0.05) 3.65 (-0.04) 11.25 (-0.01)
a1b062 3.72 (+0.04) 3.90 (+0.03) 3.78 (+0.00) 11.41 (+0.03)
1d9d7c 3.56 (-0.10) 3.78 (+0.01) 3.78 (+0.03) 11.13 (-0.02)
3569c1 3.95 (+0.08) 3.74 (-0.00) 3.66 (-0.02) 11.35 (+0.02)
eaff14 3.67 (-0.03) 3.76 (-0.02) 3.75 (+0.03) 11.18 (-0.01)
f383b4 3.77 (+0.07) 3.83 (+0.04) 3.64 (-0.02) 11.25 (+0.03)
f383b4 3.51 (-0.07) 3.69 (-0.01) 3.73 (-0.04) 10.93 (-0.04)
f383b4 3.78 (+0.01) 3.72 (+0.03) 3.87 (+0.07) 11.37 (+0.03)
a4256b 3.75 (+0.02) 3.62 (+0.00) 3.61 (-0.05) 10.99 (-0.01)
371493 3.67 (-0.01) 3.61 (-0.03) 3.78 (+0.04) 11.07 (-0.00)
c5c143 3.72 (-0.02) 3.73 (+0.04) 3.63 (-0.03) 11.08 (-0.00)
58fa4f 3.80 (-0.04) 3.58 (-0.07) 3.75 (-0.00) 11.13 (-0.04)
121d53 3.96 (+0.05) 3.85 (+0.08) 3.76 (+0.00) 11.57 (+0.05)
121d53 3.76 (+0.02) 3.56 (-0.03) 3.75 (+0.02) 11.07 (+0.00)
ec3a3a 3.69 (+0.04) 3.67 (-0.02) 3.67 (-0.01) 11.03 (+0.00)
96e783 3.54 (-0.06) 3.73 (+0.02) 3.72 (-0.02) 10.99 (-0.02)
567b71 3.76 (+0.03) 3.67 (-0.03) 3.81 (+0.03) 11.25 (+0.01)
847fc5 3.64 (-0.01) 3.77 (+0.01) 3.69 (+0.02) 11.10 (+0.01)
5e08b3 3.69 (+0.00) 3.73 (+0.01) 3.61 (-0.06) 11.03 (-0.02)
4d291d 3.68 (+0.02) 3.70 (-0.02) 3.84 (+0.01) 11.22 (+0.01)
4d291d 3.60 (-0.06) 3.76 (+0.03) 3.79 (+0.03) 11.15 (-0.01)
bf63f1 3.85 (+0.05) 3.67 (-0.03) 3.69 (+0.00) 11.21 (+0.01)
0a0958 3.66 (-0.02) 3.79 (-0.06) 3.68 (-0.01) 11.13 (-0.03)
aabca5 3.75 (+0.02) 4.04 (+0.09) 3.72 (+0.00) 11.52 (+0.04)
a4be54 3.67 (+0.02) 3.72 (-0.01) 3.72 (-0.04) 11.11 (-0.01)
a3d7ad 3.60 (-0.00) 3.75 (+0.04) 3.89 (+0.02) 11.25 (+0.02)
a3d7ad 3.61 (+0.00) 3.62 (-0.04) 3.81 (-0.02) 11.04 (-0.02)
8ba169 3.60 (-0.04) 3.77 (-0.00) 3.89 (+0.06) 11.26 (+0.01)
e5cc2f 3.75 (+0.02) 3.79 (+0.03) 3.66 (-0.07) 11.20 (-0.01)
c6b56d 3.66 (-0.01) 3.67 (+0.02) 3.93 (+0.02) 11.27 (+0.01)
e067cd 3.69 (+0.05) 3.58 (-0.02) 3.87 (-0.02) 11.14 (-0.00)
bce423 3.53 (-0.05) 3.67 (+0.00) 3.96 (+0.04) 11.15 (-0.00)
bce423 3.71 (+0.05) 3.66 (+0.03) 3.81 (+0.02) 11.17 (+0.03)
c28bfd 3.54 (-0.02) 3.54 (-0.01) 3.72 (-0.03) 10.81 (-0.02)
95bf19 3.62 (-0.02) 3.58 (+0.02) 3.82 (-0.02) 11.02 (-0.01)
95bf19 3.69 (+0.02) 3.53 (-0.02) 3.89 (+0.03) 11.12 (+0.01)
080752 3.62 (-0.04) 3.62 (+0.00) 3.77 (+0.01) 11.01 (-0.01)
23d5e2 3.78 (+0.02) 3.61 (-0.08) 3.71 (+0.00) 11.10 (-0.02)
23d5e2 3.69 (+0.04) 3.93 (+0.09) 3.70 (-0.03) 11.33 (+0.03)
8b710b 3.55 (-0.04) 3.61 (-0.11) 3.81 (+0.04) 10.98 (-0.04)
8c6e60 3.71 (+0.02) 4.05 (+0.09) 3.67 (-0.07) 11.43 (+0.01)
10dae7 3.64 (-0.01) 3.70 (-0.07) 3.96 (+0.09) 11.31 (+0.00)
4c4d3d 3.66 (+0.03) 3.97 (+0.08) 3.62 (-0.07) 11.26 (+0.01)
9f94d0 3.55 (-0.07) 3.68 (-0.03) 3.90 (+0.08) 11.13 (-0.01)
9f94d0 3.80 (+0.05) 3.80 (+0.01) 3.62 (-0.03) 11.22 (+0.01)
9f94d0 3.62 (-0.03) 3.75 (+0.03) 3.75 (-0.02) 11.13 (-0.00)
c700c7 3.72 (+0.02) 3.65 (-0.02) 3.82 (+0.04) 11.18 (+0.01)
42c6dd 3.63 (+0.03) 3.74 (-0.01) 3.67 (-0.04) 11.04 (-0.01)
f6bf7b 3.53 (-0.03) 3.77 (-0.04) 3.82 (+0.01) 11.12 (-0.02)
1137b5 3.64 (-0.02) 3.91 (+0.04) 3.78 (+0.03) 11.33 (+0.02)
1468c6 3.72 (-0.04) 3.75 (+0.02) 3.66 (-0.02) 11.13 (-0.01)
1468c6 3.86 (+0.03) 3.67 (+0.01) 3.75 (+0.04) 11.28 (+0.03)
c01f92 3.73 (-0.03) 3.64 (+0.01) 3.62 (+0.01) 10.99 (-0.00)
7ff591 3.84 (+0.04) 3.59 (-0.01) 3.57 (-0.07) 11.00 (-0.01)
5d4774 3.68 (+0.05) 3.63 (-0.02) 3.84 (+0.04) 11.16 (+0.02)
56d8c2 3.51 (-0.03) 3.70 (+0.02) 3.69 (-0.01) 10.90 (-0.01)
12e6f4 3.63 (+0.02) 3.61 (+0.02) 3.73 (-0.01) 10.98 (+0.01)
12e6f4 3.55 (-0.04) 3.55 (-0.01) 3.78 (+0.02) 10.89 (-0.01)
61194a 3.70 (+0.05) 3.57 (-0.04) 3.70 (+0.01) 10.98 (+0.01)
70ce01 3.52 (-0.08) 3.71 (+0.03) 3.67 (-0.00) 10.90 (-0.02)
c04c20 3.81 (+0.07) 3.61 (-0.08) 3.68 (-0.06) 11.10 (-0.03)
827ee1 3.56 (-0.00) 3.93 (-0.01) 3.91 (-0.02) 11.41 (-0.01)
22ae67 3.58 (-0.08) 3.96 (+0.10) 3.99 (+0.10) 11.52 (+0.04)
0f4458 3.90 (+0.04) 3.59 (-0.02) 3.63 (-0.01) 11.12 (+0.00)
0f4458 3.74 (+0.05) 3.66 (+0.03) 3.68 (+0.01) 11.08 (+0.03)
0f4458 3.57 (-0.01) 3.54 (-0.03) 3.63 (-0.07) 10.74 (-0.03)
b8a566 3.59 (+0.00) 3.63 (+0.03) 3.89 (+0.02) 11.12 (+0.02)
b8a566 3.59 (+0.01) 3.51 (-0.04) 3.81 (-0.01) 10.90 (-0.02)
9747e9 3.57 (+0.12) 3.64 (+0.18) 3.86 (+0.15) 11.07 (+0.15)
b50e07 3.20 (+0.01) 3.09 (-0.05) 3.37 (+0.04) 9.66 (+0.00)
6a57d5 3.15 (-0.09) 3.26 (-0.01) 3.23 (+0.01) 9.65 (-0.03)
c0480f 3.48 (+0.08) 3.29 (-0.05) 3.20 (+0.03) 9.97 (+0.02)
4f443c 3.21 (+0.02) 3.46 (+0.07) 3.12 (-0.01) 9.79 (+0.03)
4f443c 3.14 (-0.01) 3.23 (+0.01) 3.16 (-0.01) 9.52 (-0.01)
788823 3.18 (-0.03) 3.20 (-0.00) 3.20 (-0.01) 9.58 (-0.01)
c21104 3.28 (+0.00) 3.21 (-0.00) 3.22 (-0.02) 9.72 (-0.01)
b9544a 3.28 (-0.01) 3.21 (+0.04) 3.28 (+0.06) 9.77 (+0.03)
33834c 3.30 (+0.00) 3.08 (-0.05) 3.10 (-0.05) 9.48 (-0.03)
521667 3.29 (+0.04) 3.25 (+0.02) 3.28 (+0.01) 9.82 (+0.03)
361648 3.16 (-0.05) 3.17 (-0.03) 3.25 (+0.04) 9.58 (-0.01)
fc0629 3.32 3.26 3.13 9.71

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query5]

platform: rds-postgres

revision Q5/1 Q5/2 Q5/3 total_duration
41aa62 63.64 (+0.01) 63.19 (+0.01) 63.00 (+0.00) 189.83 (+0.01)
7b5489 62.88 (-0.00) 62.81 (-0.00) 62.87 (-0.00) 188.56 (-0.00)
a23b07 62.93 (-0.01) 62.93 (-0.01) 62.93 (-0.01) 188.79 (-0.01)
cc2d00 63.42 (-0.01) 63.87 (+0.01) 63.76 (+0.01) 191.06 (+0.00)
ba9df2 63.92 (+0.01) 63.39 (+0.00) 63.17 (-0.01) 190.48 (+0.00)
a8f354 63.26 (+0.01) 63.37 (+0.01) 63.56 (+0.01) 190.19 (+0.01)
7feb0d 62.53 (-0.01) 62.78 (-0.01) 62.72 (-0.01) 188.03 (-0.01)
982fce 62.87 (-0.00) 63.44 (+0.00) 63.09 (+0.00) 189.40 (+0.00)
1f151d 63.07 (+0.00) 63.18 (+0.00) 62.99 (+0.00) 189.24 (+0.00)
ff1a1a 62.97 (+0.00) 62.93 (-0.00) 62.90 (-0.00) 188.81 (-0.00)
b1477b 62.93 (-0.00) 62.97 (+0.00) 63.07 (-0.00) 188.97 (-0.00)
1b947f 63.23 (+0.00) 62.96 (-0.00) 63.11 (+0.00) 189.30 (-0.00)
a21b55 63.16 (-0.00) 63.08 (-0.01) 63.08 (-0.00) 189.32 (-0.00)
4ba950 63.24 (+0.00) 63.55 (-0.00) 63.13 (+0.00) 189.92 (-0.00)
4e359d 63.20 (-0.01) 63.83 (+0.01) 63.02 (-0.00) 190.05 (+0.00)
3837fc 63.67 (-0.00) 62.98 (-0.01) 63.32 (-0.01) 189.98 (-0.01)
edcf4d 63.70 (+0.00) 63.67 (-0.00) 63.89 (+0.00) 191.26 (+0.00)
411c71 63.57 (+0.01) 63.94 (+0.01) 63.70 (+0.00) 191.21 (+0.01)
854348 62.97 (-0.00) 63.06 (+0.00) 63.67 (+0.01) 189.70 (+0.00)
7ba5c2 63.19 (+0.01) 62.77 (+0.01) 63.32 (+0.01) 189.28 (+0.01)
ebea29 62.50 (+0.00) 62.45 (-0.01) 62.64 (+0.00) 187.58 (-0.00)
22c890 62.39 (-0.00) 63.05 (+0.01) 62.39 (-0.01) 187.83 (+0.00)
f0b2e0 62.51 (-0.01) 62.44 (-0.00) 62.85 (+0.00) 187.81 (-0.00)
dec580 63.12 (+0.01) 62.51 (-0.00) 62.70 (+0.00) 188.33 (+0.00)
dec580 62.72 (-0.01) 62.82 (+0.01) 62.69 (+0.00) 188.23 (-0.00)
b1c2a6 63.34 (+0.01) 62.49 (-0.00) 62.63 (-0.00) 188.46 (+0.00)
931094 62.41 (-0.01) 62.64 (-0.01) 62.70 (+0.00) 187.76 (-0.00)
957acb 62.84 (+0.01) 63.33 (+0.00) 62.50 (+0.00) 188.67 (+0.00)
846532 62.40 (-0.00) 63.12 (+0.00) 62.38 (-0.01) 187.90 (-0.00)
d733bc 62.52 (-0.00) 62.92 (-0.00) 63.00 (-0.01) 188.44 (-0.00)
75ffe3 62.70 (-0.00) 63.05 (+0.01) 63.42 (+0.01) 189.16 (+0.00)
75ffe3 62.77 (+0.00) 62.67 (-0.00) 62.93 (+0.01) 188.37 (+0.00)
bf4623 62.62 (-0.01) 62.71 (-0.00) 62.50 (-0.01) 187.84 (-0.00)
b26c83 62.96 (-0.00) 62.86 (-0.01) 62.92 (+0.00) 188.74 (-0.00)
9d714a 63.15 (+0.01) 63.49 (+0.01) 62.72 (-0.00) 189.36 (+0.01)
6efea4 62.72 (-0.01) 62.65 (-0.00) 62.77 (+0.00) 188.14 (-0.00)
4071ff 63.17 (+0.01) 62.69 (-0.00) 62.56 (-0.00) 188.42 (+0.00)
4071ff 62.65 (-0.01) 62.69 (+0.00) 62.59 (-0.00) 187.93 (-0.00)
870ba4 63.39 (+0.01) 62.65 (-0.00) 62.72 (-0.00) 188.75 (+0.00)
f5ca89 62.84 (+0.00) 62.94 (+0.00) 62.76 (-0.01) 188.54 (-0.00)
8bd565 62.55 (-0.01) 62.78 (+0.00) 63.53 (+0.01) 188.87 (+0.00)
dd22c8 62.94 (+0.00) 62.75 (+0.00) 62.63 (-0.01) 188.33 (-0.00)
299db9 62.77 (-0.01) 62.65 (-0.00) 63.42 (+0.00) 188.84 (-0.00)
93f3f4 63.09 (+0.00) 62.88 (-0.01) 63.36 (+0.01) 189.34 (+0.00)
f6e2e0 62.91 (+0.00) 63.23 (+0.00) 62.99 (-0.02) 189.13 (-0.00)
f6e2e0 62.88 (+0.00) 63.03 (+0.00) 63.98 (+0.01) 189.89 (+0.00)
f6e2e0 62.83 (+0.00) 62.99 (+0.01) 63.43 (-0.00) 189.25 (+0.00)
f1d960 62.76 (-0.00) 62.58 (-0.00) 63.44 (+0.00) 188.78 (+0.00)
4a9279 62.83 (-0.00) 62.61 (-0.00) 63.28 (+0.00) 188.72 (-0.00)
2e4bf7 63.04 (+0.01) 62.69 (+0.00) 63.17 (-0.00) 188.90 (+0.00)
ce8fbb 62.49 (-0.01) 62.44 (-0.02) 63.23 (-0.00) 188.16 (-0.01)
ce8fbb 62.88 (-0.00) 63.73 (+0.01) 63.36 (-0.01) 189.97 (+0.00)
ce8fbb 62.98 (-0.00) 63.05 (-0.00) 63.90 (+0.02) 189.94 (+0.00)
d1a0f2 63.09 (+0.00) 63.07 (-0.01) 62.88 (-0.01) 189.05 (-0.00)
ccf92d 62.89 (-0.00) 63.55 (-0.00) 63.41 (+0.01) 189.85 (+0.00)
02b8e0 63.08 (+0.00) 63.63 (+0.00) 63.06 (+0.00) 189.77 (+0.00)
7b9057 62.79 (+0.00) 63.61 (+0.01) 62.93 (-0.01) 189.33 (+0.00)
9cada8 62.78 (-0.00) 62.67 (-0.00) 63.43 (-0.00) 188.89 (-0.00)
9cada8 62.78 (+0.00) 62.94 (-0.00) 63.44 (-0.00) 189.17 (-0.00)
9cada8 62.75 (-0.00) 62.97 (+0.00) 63.49 (+0.01) 189.21 (+0.00)
a60f68 62.91 (-0.00) 62.83 (+0.00) 62.96 (+0.01) 188.71 (+0.00)
d19c52 63.16 (+0.00) 62.71 (-0.01) 62.55 (-0.01) 188.43 (-0.00)
000eb1 62.93 (+0.01) 63.32 (+0.01) 63.07 (+0.00) 189.33 (+0.01)
000eb1 62.51 (+0.01) 62.79 (+0.01) 62.80 (+0.01) 188.10 (+0.01)
f51b48 62.19 (+0.00) 62.34 (-0.00) 62.31 (+0.00) 186.85 (-0.00)
f51b48 62.18 (-0.01) 62.49 (+0.00) 62.18 (-0.00) 186.86 (-0.00)
f51b48 62.70 (-0.00) 62.39 (-0.00) 62.36 (-0.00) 187.45 (-0.00)
9f906f 62.96 (+0.00) 62.44 (-0.00) 62.39 (-0.00) 187.79 (-0.00)
0692ff 62.90 (+0.00) 62.55 (-0.00) 62.63 (-0.00) 188.08 (-0.00)
2caece 62.88 (-0.00) 62.63 (-0.01) 62.78 (-0.01) 188.29 (-0.01)
bc7d3c 62.99 (+0.00) 62.99 (+0.01) 63.28 (+0.01) 189.27 (+0.01)
2153d2 62.94 (-0.00) 62.58 (+0.00) 62.59 (+0.00) 188.12 (+0.00)
2153d2 63.14 (+0.01) 62.44 (-0.00) 62.37 (-0.01) 187.96 (+0.00)
2153d2 62.54 (-0.00) 62.54 (-0.00) 62.84 (+0.00) 187.92 (-0.00)
a1b062 62.59 (+0.00) 62.62 (-0.01) 62.80 (+0.00) 188.01 (-0.00)
1d9d7c 62.39 (-0.01) 63.18 (+0.01) 62.58 (+0.00) 188.14 (+0.00)
3569c1 62.76 (-0.01) 62.69 (-0.00) 62.57 (+0.00) 188.03 (-0.00)
eaff14 63.28 (+0.00) 62.85 (+0.00) 62.55 (-0.00) 188.68 (+0.00)
f383b4 63.11 (+0.00) 62.74 (-0.01) 62.57 (-0.01) 188.42 (-0.00)
f383b4 63.10 (+0.01) 63.09 (+0.00) 62.92 (+0.01) 189.12 (+0.01)
f383b4 62.20 (-0.00) 62.89 (+0.01) 62.35 (-0.01) 187.45 (-0.00)
a4256b 62.43 (+0.00) 62.45 (-0.00) 62.98 (+0.00) 187.86 (+0.00)
371493 62.39 (+0.00) 62.46 (+0.00) 62.95 (+0.01) 187.79 (+0.00)
c5c143 62.27 (-0.00) 62.34 (-0.00) 62.37 (-0.01) 186.98 (-0.00)
58fa4f 62.54 (-0.01) 62.39 (-0.00) 62.98 (+0.00) 187.92 (-0.00)
121d53 63.21 (+0.01) 62.56 (-0.01) 62.69 (+0.00) 188.45 (+0.00)
121d53 62.44 (-0.01) 62.88 (+0.00) 62.49 (-0.00) 187.81 (-0.00)
ec3a3a 62.92 (+0.01) 62.65 (+0.00) 62.79 (-0.01) 188.37 (+0.00)
96e783 62.51 (+0.00) 62.37 (-0.00) 63.19 (+0.01) 188.07 (+0.00)
567b71 62.44 (-0.01) 62.48 (-0.00) 62.53 (-0.00) 187.46 (-0.00)
847fc5 63.07 (-0.00) 62.51 (-0.00) 62.56 (-0.00) 188.14 (-0.00)
5e08b3 63.11 (+0.01) 62.74 (-0.00) 62.74 (+0.00) 188.59 (+0.00)
4d291d 62.72 (+0.00) 62.82 (+0.01) 62.50 (-0.00) 188.05 (+0.00)
4d291d 62.41 (-0.00) 62.42 (-0.00) 62.75 (+0.00) 187.58 (-0.00)
bf63f1 62.67 (+0.00) 62.73 (-0.00) 62.71 (-0.00) 188.11 (-0.00)
0a0958 62.56 (-0.00) 63.00 (+0.01) 62.75 (-0.00) 188.32 (+0.00)
aabca5 62.70 (+0.00) 62.61 (+0.00) 63.00 (-0.00) 188.31 (+0.00)
a4be54 62.58 (-0.01) 62.55 (-0.00) 63.01 (+0.01) 188.14 (-0.00)
a3d7ad 63.37 (+0.01) 62.68 (-0.00) 62.57 (-0.00) 188.63 (+0.00)
a3d7ad 62.54 (+0.00) 62.70 (-0.00) 62.77 (+0.00) 188.00 (-0.00)
8ba169 62.43 (-0.01) 62.96 (+0.01) 62.61 (+0.00) 188.01 (-0.00)
e5cc2f 62.99 (+0.01) 62.57 (-0.00) 62.55 (-0.01) 188.12 (-0.00)
c6b56d 62.60 (-0.00) 62.60 (+0.00) 63.17 (+0.01) 188.37 (+0.00)
e067cd 62.63 (-0.00) 62.54 (+0.00) 62.41 (-0.00) 187.58 (-0.00)
bce423 62.90 (+0.01) 62.51 (-0.00) 62.48 (-0.00) 187.89 (+0.00)
bce423 62.53 (+0.00) 62.51 (+0.00) 62.49 (-0.01) 187.53 (-0.00)
c28bfd 62.25 (-0.00) 62.33 (-0.00) 63.01 (+0.01) 187.59 (+0.00)
95bf19 62.47 (-0.01) 62.39 (-0.00) 62.42 (-0.00) 187.28 (-0.00)
95bf19 63.02 (+0.01) 62.65 (+0.00) 62.43 (-0.01) 188.10 (+0.00)
080752 62.30 (-0.01) 62.41 (-0.02) 62.75 (-0.00) 187.47 (-0.01)
23d5e2 62.82 (-0.00) 63.61 (+0.02) 63.05 (+0.01) 189.49 (+0.01)
23d5e2 63.04 (+0.00) 62.51 (-0.00) 62.69 (+0.00) 188.24 (+0.00)
8b710b 62.95 (+0.01) 62.54 (+0.00) 62.44 (+0.00) 187.93 (+0.00)
8c6e60 62.39 (-0.00) 62.40 (-0.01) 62.38 (+0.00) 187.18 (-0.00)
10dae7 62.46 (+0.00) 63.03 (+0.01) 62.26 (+0.00) 187.75 (+0.01)
4c4d3d 62.25 (-0.01) 62.30 (-0.00) 62.26 (-0.00) 186.81 (-0.01)
9f94d0 63.15 (+0.01) 62.49 (+0.00) 62.43 (+0.00) 188.07 (+0.00)
9f94d0 62.37 (+0.00) 62.42 (-0.01) 62.40 (-0.01) 187.20 (-0.01)
9f94d0 62.25 (-0.01) 63.30 (+0.01) 62.83 (-0.01) 188.38 (-0.00)
c700c7 62.67 (+0.00) 62.61 (-0.01) 63.18 (+0.01) 188.46 (+0.00)
42c6dd 62.64 (+0.00) 62.99 (+0.00) 62.73 (-0.01) 188.36 (-0.00)
f6bf7b 62.57 (+0.00) 62.76 (+0.00) 63.34 (+0.01) 188.67 (+0.00)
1137b5 62.56 (-0.00) 62.70 (-0.00) 62.54 (-0.00) 187.80 (-0.00)
1468c6 62.78 (+0.01) 62.71 (+0.00) 62.63 (+0.00) 188.13 (+0.00)
1468c6 62.33 (+0.00) 62.60 (-0.00) 62.50 (-0.00) 187.43 (-0.00)
c01f92 62.18 (-0.01) 62.78 (+0.00) 62.55 (-0.00) 187.50 (-0.00)
7ff591 62.62 (+0.00) 62.56 (-0.00) 62.58 (-0.01) 187.76 (-0.00)
5d4774 62.42 (-0.00) 62.60 (-0.00) 63.19 (-0.00) 188.21 (-0.00)
56d8c2 62.53 (-0.02) 62.68 (-0.00) 63.31 (+0.01) 188.53 (-0.00)
12e6f4 63.57 (+0.02) 62.88 (-0.01) 62.73 (-0.00) 189.18 (+0.00)
12e6f4 62.48 (-0.00) 63.31 (+0.01) 62.84 (-0.00) 188.63 (+0.00)
61194a 62.62 (-0.01) 62.71 (-0.00) 63.07 (+0.01) 188.40 (-0.00)
70ce01 63.26 (+0.00) 62.91 (-0.00) 62.67 (-0.01) 188.85 (-0.00)
c04c20 63.10 (+0.01) 63.05 (+0.01) 63.14 (+0.01) 189.29 (+0.01)
827ee1 62.48 (-0.01) 62.68 (-0.00) 62.60 (-0.00) 187.76 (-0.00)
22ae67 63.01 (-0.00) 62.70 (-0.00) 62.77 (-0.00) 188.47 (-0.00)
0f4458 63.29 (+0.01) 62.74 (-0.01) 63.05 (-0.00) 189.07 (-0.00)
0f4458 62.94 (+0.00) 63.16 (+0.01) 63.30 (+0.01) 189.40 (+0.01)
0f4458 62.85 (+0.00) 62.58 (-0.00) 62.75 (-0.00) 188.17 (-0.00)
b8a566 62.83 (-0.01) 62.88 (-0.00) 62.82 (-0.00) 188.54 (-0.00)
b8a566 63.36 (+0.06) 63.04 (+0.06) 62.83 (+0.06) 189.23 (+0.06)
9747e9 60.05 (-0.03) 59.67 (-0.04) 59.52 (-0.04) 179.24 (-0.04)
b50e07 62.15 (-0.00) 62.21 (-0.00) 62.09 (-0.00) 186.45 (-0.00)
6a57d5 62.29 (-0.01) 62.23 (+0.00) 62.20 (-0.00) 186.73 (-0.00)
c0480f 62.76 (-0.01) 62.21 (+0.00) 62.36 (+0.00) 187.33 (-0.00)
4f443c 63.39 (+0.02) 62.09 (-0.00) 62.12 (+0.00) 187.60 (+0.01)
4f443c 62.02 (-0.01) 62.31 (+0.00) 62.00 (-0.00) 186.33 (-0.00)
788823 62.46 (-0.01) 62.20 (+0.00) 62.25 (+0.00) 186.92 (-0.00)
c21104 62.97 (+0.01) 62.14 (-0.01) 62.15 (+0.00) 187.26 (+0.00)
b9544a 62.15 (-0.01) 62.73 (+0.01) 62.01 (-0.00) 186.90 (+0.00)
33834c 62.57 (-0.01) 62.08 (-0.03) 62.04 (-0.02) 186.69 (-0.02)
521667 63.38 (+0.01) 63.75 (+0.03) 63.39 (+0.02) 190.53 (+0.02)
361648 62.71 (+0.00) 62.07 (-0.01) 62.07 (-0.01) 186.84 (-0.01)
fc0629 62.51 62.97 62.48 187.96

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query6]

platform: rds-postgres

revision Q6/1 Q6/2 Q6/3 total_duration
41aa62 1.65 (-0.05) 1.65 (+0.02) 1.72 (+0.07) 5.02 (+0.01)
7b5489 1.73 (+0.01) 1.61 (-0.02) 1.61 (-0.02) 4.96 (-0.02)
a23b07 1.72 (+0.03) 1.65 (-0.10) 1.65 (-0.02) 5.04 (-0.03)
cc2d00 1.67 (+0.01) 1.84 (+0.11) 1.68 (+0.02) 5.22 (+0.05)
ba9df2 1.66 (-0.01) 1.66 (+0.01) 1.65 (-0.00) 4.97 (-0.00)
a8f354 1.69 (-0.02) 1.65 (-0.00) 1.66 (+0.01) 4.99 (-0.01)
7feb0d 1.72 (-0.04) 1.65 (-0.03) 1.65 (-0.12) 5.03 (-0.06)
982fce 1.79 (+0.05) 1.70 (+0.00) 1.87 (+0.06) 5.36 (+0.04)
1f151d 1.70 (-0.03) 1.70 (-0.04) 1.76 (+0.01) 5.16 (-0.02)
ff1a1a 1.76 (+0.03) 1.77 (+0.04) 1.74 (+0.02) 5.28 (+0.03)
b1477b 1.70 (-0.10) 1.70 (-0.08) 1.71 (-0.04) 5.11 (-0.08)
1b947f 1.90 (+0.10) 1.84 (+0.08) 1.79 (+0.04) 5.53 (+0.07)
a21b55 1.73 (+0.02) 1.71 (-0.05) 1.71 (+0.01) 5.15 (-0.01)
4ba950 1.70 (-0.03) 1.80 (+0.06) 1.69 (-0.00) 5.20 (+0.01)
4e359d 1.76 (-0.02) 1.70 (-0.10) 1.70 (-0.03) 5.16 (-0.05)
3837fc 1.80 (+0.06) 1.88 (+0.05) 1.75 (+0.02) 5.43 (+0.04)
edcf4d 1.70 (+0.00) 1.80 (+0.03) 1.72 (+0.01) 5.22 (+0.01)
411c71 1.70 (-0.00) 1.75 (-0.00) 1.71 (+0.00) 5.16 (-0.00)
854348 1.71 (-0.08) 1.75 (-0.01) 1.70 (+0.00) 5.16 (-0.03)
7ba5c2 1.86 (+0.12) 1.77 (+0.02) 1.70 (+0.01) 5.32 (+0.05)
ebea29 1.66 (-0.11) 1.73 (+0.05) 1.68 (+0.02) 5.07 (-0.02)
22c890 1.87 (+0.13) 1.65 (-0.04) 1.65 (-0.05) 5.17 (+0.01)
f0b2e0 1.65 (-0.00) 1.73 (+0.05) 1.73 (+0.05) 5.11 (+0.03)
dec580 1.65 (-0.05) 1.65 (-0.00) 1.65 (-0.35) 4.96 (-0.16)
dec580 1.74 (+0.05) 1.65 (-0.12) 2.53 (+0.40) 5.93 (+0.11)
b1c2a6 1.65 (-0.01) 1.87 (+0.13) 1.80 (+0.05) 5.32 (+0.05)
931094 1.67 (-0.10) 1.65 (-0.05) 1.72 (-0.01) 5.05 (-0.05)
957acb 1.86 (+0.08) 1.73 (+0.05) 1.73 (+0.05) 5.33 (+0.06)
846532 1.72 (-0.12) 1.65 (-0.00) 1.65 (+0.00) 5.02 (-0.04)
d733bc 1.95 (+0.18) 1.65 (-0.00) 1.65 (-0.09) 5.26 (+0.03)
75ffe3 1.65 (-0.01) 1.65 (-0.04) 1.81 (+0.08) 5.12 (+0.01)
75ffe3 1.66 (-0.04) 1.72 (+0.03) 1.68 (-0.02) 5.06 (-0.01)
bf4623 1.73 (+0.05) 1.66 (-0.05) 1.71 (-0.00) 5.10 (-0.00)
b26c83 1.65 (-0.01) 1.74 (+0.05) 1.72 (+0.04) 5.12 (+0.03)
9d714a 1.67 (-0.02) 1.65 (-0.00) 1.65 (+0.00) 4.97 (-0.01)
6efea4 1.70 (-0.09) 1.65 (-0.02) 1.65 (-0.04) 5.00 (-0.05)
4071ff 1.86 (+0.00) 1.69 (+0.02) 1.71 (+0.04) 5.27 (+0.02)
4071ff 1.86 (+0.13) 1.65 (-0.09) 1.65 (+0.00) 5.16 (+0.01)
870ba4 1.65 (-0.07) 1.81 (+0.04) 1.65 (-0.05) 5.11 (-0.02)
f5ca89 1.77 (+0.07) 1.74 (+0.06) 1.73 (-0.01) 5.24 (+0.04)
8bd565 1.65 (-0.05) 1.65 (-0.00) 1.75 (-0.01) 5.05 (-0.02)
dd22c8 1.74 (-0.01) 1.65 (-0.00) 1.77 (+0.07) 5.17 (+0.02)
299db9 1.76 (+0.01) 1.65 (-0.07) 1.65 (-0.04) 5.06 (-0.04)
93f3f4 1.75 (+0.06) 1.77 (+0.04) 1.73 (+0.05) 5.24 (+0.05)
f6e2e0 1.65 (-0.00) 1.71 (-0.03) 1.65 (-0.00) 5.01 (-0.01)
f6e2e0 1.66 (-0.05) 1.76 (+0.07) 1.66 (+0.01) 5.08 (+0.00)
f6e2e0 1.76 (-0.03) 1.65 (-0.02) 1.65 (+0.00) 5.06 (-0.02)
f1d960 1.82 (+0.10) 1.68 (-0.04) 1.65 (+0.00) 5.14 (+0.02)
4a9279 1.65 (-0.04) 1.75 (+0.06) 1.65 (+0.00) 5.05 (+0.01)
2e4bf7 1.72 (+0.00) 1.64 (-0.07) 1.65 (-0.05) 5.01 (-0.04)
ce8fbb 1.71 (+0.04) 1.77 (+0.01) 1.73 (+0.05) 5.22 (+0.03)
ce8fbb 1.65 (-0.00) 1.75 (-0.01) 1.65 (-0.00) 5.05 (-0.00)
ce8fbb 1.65 (-0.00) 1.76 (+0.07) 1.66 (-0.03) 5.07 (+0.01)
d1a0f2 1.65 (-0.00) 1.65 (-0.03) 1.72 (+0.04) 5.02 (-0.00)
ccf92d 1.66 (-0.15) 1.71 (+0.03) 1.65 (-0.04) 5.02 (-0.06)
02b8e0 1.95 (+0.19) 1.65 (+0.01) 1.71 (-0.00) 5.32 (+0.07)
7b9057 1.64 (-0.03) 1.64 (-0.00) 1.71 (+0.04) 4.99 (+0.00)
9cada8 1.70 (+0.04) 1.64 (-0.03) 1.64 (+0.00) 4.98 (+0.00)
9cada8 1.64 (-0.03) 1.69 (+0.03) 1.64 (-0.02) 4.97 (-0.01)
9cada8 1.70 (-0.02) 1.64 (-0.08) 1.68 (-0.02) 5.01 (-0.04)
a60f68 1.73 (+0.01) 1.78 (+0.09) 1.72 (+0.01) 5.23 (+0.04)
d19c52 1.71 (+0.03) 1.63 (-0.01) 1.69 (-0.06) 5.03 (-0.01)
000eb1 1.65 (-0.04) 1.65 (-0.00) 1.79 (+0.09) 5.10 (+0.02)
000eb1 1.72 (+0.02) 1.65 (+0.01) 1.65 (+0.01) 5.02 (+0.01)
f51b48 1.69 (-0.02) 1.63 (-0.05) 1.63 (-0.00) 4.96 (-0.02)
f51b48 1.72 (-0.10) 1.72 (+0.05) 1.63 (-0.00) 5.07 (-0.02)
f51b48 1.90 (+0.15) 1.64 (-0.01) 1.64 (-0.11) 5.18 (+0.01)
9f906f 1.65 (-0.13) 1.65 (-0.04) 1.84 (+0.08) 5.14 (-0.04)
0692ff 1.90 (+0.15) 1.72 (+0.00) 1.71 (+0.03) 5.34 (+0.06)
2caece 1.65 (-0.01) 1.71 (+0.03) 1.66 (-0.09) 5.03 (-0.02)
bc7d3c 1.66 (+0.00) 1.65 (-0.14) 1.83 (+0.02) 5.14 (-0.05)
2153d2 1.66 (+0.01) 1.93 (+0.11) 1.80 (+0.10) 5.39 (+0.07)
2153d2 1.64 (-0.01) 1.73 (-0.01) 1.64 (-0.01) 5.02 (-0.01)
2153d2 1.65 (-0.07) 1.76 (+0.06) 1.65 (-0.00) 5.06 (-0.00)
a1b062 1.77 (+0.07) 1.65 (-0.00) 1.65 (-0.12) 5.07 (-0.02)
1d9d7c 1.66 (-0.04) 1.65 (-0.01) 1.87 (+0.13) 5.18 (+0.03)
3569c1 1.73 (+0.05) 1.67 (+0.02) 1.65 (-0.05) 5.05 (+0.01)
eaff14 1.64 (-0.03) 1.64 (+0.00) 1.74 (+0.03) 5.02 (+0.00)
f383b4 1.69 (+0.03) 1.63 (-0.06) 1.70 (-0.00) 5.02 (-0.01)
f383b4 1.64 (-0.03) 1.74 (+0.07) 1.70 (+0.04) 5.07 (+0.02)
f383b4 1.70 (+0.04) 1.63 (-0.03) 1.63 (-0.04) 4.96 (-0.01)
a4256b 1.64 (-0.01) 1.67 (-0.12) 1.70 (-0.01) 5.01 (-0.05)
371493 1.66 (-0.03) 1.90 (+0.15) 1.71 (-0.06) 5.27 (+0.02)
c5c143 1.70 (-0.10) 1.65 (-0.03) 1.82 (+0.10) 5.18 (-0.01)
58fa4f 1.89 (+0.14) 1.71 (+0.03) 1.65 (-0.05) 5.25 (+0.04)
121d53 1.66 (-0.04) 1.65 (+0.01) 1.73 (+0.06) 5.04 (+0.01)
121d53 1.72 (+0.04) 1.63 (-0.04) 1.64 (-0.02) 5.00 (-0.01)
ec3a3a 1.65 (-0.12) 1.71 (-0.06) 1.67 (-0.00) 5.03 (-0.06)
96e783 1.87 (+0.13) 1.82 (+0.11) 1.67 (-0.02) 5.37 (+0.07)
567b71 1.65 (-0.01) 1.65 (-0.00) 1.71 (-0.06) 5.01 (-0.03)
847fc5 1.67 (-0.03) 1.65 (-0.01) 1.82 (+0.11) 5.15 (+0.02)
5e08b3 1.73 (-0.00) 1.67 (-0.03) 1.65 (+0.00) 5.05 (-0.01)
4d291d 1.73 (+0.05) 1.71 (+0.04) 1.65 (+0.00) 5.10 (+0.03)
4d291d 1.65 (-0.00) 1.65 (-0.06) 1.65 (+0.00) 4.95 (-0.02)
bf63f1 1.65 (+0.00) 1.75 (+0.06) 1.64 (-0.03) 5.05 (+0.01)
0a0958 1.65 (-0.00) 1.65 (-0.01) 1.69 (+0.02) 4.99 (+0.00)
aabca5 1.65 (-0.03) 1.66 (+0.01) 1.65 (+0.01) 4.97 (-0.00)
a4be54 1.70 (+0.01) 1.64 (+0.00) 1.64 (-0.01) 4.99 (+0.00)
a3d7ad 1.69 (-0.01) 1.63 (-0.04) 1.66 (+0.00) 4.99 (-0.01)
a3d7ad 1.71 (+0.05) 1.70 (+0.04) 1.65 (+0.01) 5.06 (+0.03)
8ba169 1.63 (-0.02) 1.63 (-0.01) 1.64 (-0.02) 4.91 (-0.01)
e5cc2f 1.66 (+0.01) 1.64 (+0.01) 1.68 (+0.01) 4.98 (+0.01)
c6b56d 1.64 (-0.00) 1.63 (-0.05) 1.66 (-0.01) 4.94 (-0.02)
e067cd 1.64 (-0.01) 1.71 (+0.02) 1.69 (-0.01) 5.04 (-0.00)
bce423 1.65 (-0.02) 1.68 (+0.03) 1.71 (+0.01) 5.05 (+0.01)
bce423 1.68 (+0.03) 1.63 (-0.01) 1.69 (+0.03) 5.00 (+0.01)
c28bfd 1.64 (-0.04) 1.64 (-0.03) 1.65 (-0.04) 4.93 (-0.04)
95bf19 1.71 (+0.04) 1.69 (-0.02) 1.71 (+0.04) 5.11 (+0.02)
95bf19 1.64 (-0.02) 1.73 (+0.04) 1.64 (+0.00) 5.02 (+0.01)
080752 1.67 (+0.01) 1.67 (+0.02) 1.64 (-0.02) 4.98 (+0.00)
23d5e2 1.65 (-0.05) 1.63 (-0.01) 1.67 (+0.02) 4.96 (-0.01)
23d5e2 1.74 (+0.05) 1.64 (+0.01) 1.64 (-0.05) 5.02 (+0.00)
8b710b 1.66 (-0.04) 1.63 (-0.05) 1.72 (+0.04) 5.01 (-0.02)
8c6e60 1.74 (+0.06) 1.71 (+0.04) 1.65 (-0.03) 5.10 (+0.02)
10dae7 1.64 (-0.05) 1.64 (-0.02) 1.70 (+0.03) 4.99 (-0.01)
4c4d3d 1.73 (+0.05) 1.68 (+0.03) 1.65 (-0.15) 5.05 (-0.03)
9f94d0 1.64 (-0.04) 1.64 (-0.01) 1.95 (+0.19) 5.23 (+0.04)
9f94d0 1.70 (+0.03) 1.66 (+0.01) 1.64 (-0.06) 5.01 (-0.01)
9f94d0 1.64 (-0.02) 1.64 (-0.05) 1.75 (+0.07) 5.04 (-0.00)
c700c7 1.67 (+0.01) 1.73 (+0.06) 1.64 (+0.00) 5.04 (+0.02)
42c6dd 1.65 (+0.01) 1.64 (+0.00) 1.64 (-0.15) 4.92 (-0.05)
f6bf7b 1.64 (-0.10) 1.63 (+0.00) 1.93 (+0.14) 5.20 (+0.01)
1137b5 1.81 (+0.06) 1.62 (-0.01) 1.70 (+0.04) 5.14 (+0.03)
1468c6 1.70 (+0.03) 1.64 (-0.00) 1.64 (-0.00) 4.99 (+0.01)
1468c6 1.65 (-0.03) 1.64 (+0.01) 1.64 (-0.05) 4.94 (-0.02)
c01f92 1.69 (+0.04) 1.62 (-0.03) 1.72 (+0.06) 5.03 (+0.02)
7ff591 1.62 (-0.01) 1.68 (+0.01) 1.62 (-0.05) 4.92 (-0.02)
5d4774 1.64 (-0.01) 1.66 (+0.01) 1.70 (-0.08) 5.00 (-0.03)
56d8c2 1.65 (+0.01) 1.65 (-0.07) 1.85 (+0.13) 5.15 (+0.02)
12e6f4 1.63 (+0.01) 1.77 (+0.09) 1.63 (-0.05) 5.03 (+0.01)
12e6f4 1.62 (-0.01) 1.62 (-0.09) 1.72 (+0.05) 4.97 (-0.02)
61194a 1.63 (-0.00) 1.78 (+0.09) 1.64 (-0.11) 5.06 (-0.01)
70ce01 1.64 (-0.06) 1.64 (-0.00) 1.84 (+0.13) 5.11 (+0.02)
c04c20 1.75 (+0.02) 1.65 (+0.01) 1.63 (-0.04) 5.03 (-0.00)
827ee1 1.71 (+0.03) 1.63 (-0.22) 1.70 (-0.02) 5.04 (-0.08)
22ae67 1.66 (-0.03) 2.09 (+0.24) 1.74 (+0.06) 5.49 (+0.09)
0f4458 1.71 (+0.04) 1.69 (+0.03) 1.64 (-0.10) 5.04 (-0.01)
0f4458 1.65 (+0.01) 1.63 (-0.00) 1.83 (+0.12) 5.11 (+0.05)
0f4458 1.63 (-0.01) 1.63 (+0.00) 1.63 (-0.12) 4.89 (-0.04)
b8a566 1.64 (+0.01) 1.63 (-0.05) 1.84 (+0.13) 5.11 (+0.03)
b8a566 1.63 (-0.00) 1.71 (+0.05) 1.62 (-0.11) 4.96 (-0.02)
9747e9 1.63 (+0.34) 1.63 (+0.24) 1.82 (+0.50) 5.08 (+0.35)
b50e07 1.22 (-0.01) 1.31 (-0.05) 1.22 (-0.15) 3.75 (-0.07)
6a57d5 1.23 (-0.02) 1.38 (+0.11) 1.43 (+0.11) 4.04 (+0.07)
c0480f 1.26 (+0.01) 1.24 (-0.05) 1.29 (+0.03) 3.79 (-0.01)
4f443c 1.25 (+0.04) 1.31 (+0.04) 1.25 (+0.02) 3.81 (+0.03)
4f443c 1.20 (-0.03) 1.27 (+0.05) 1.23 (+0.00) 3.70 (+0.01)
788823 1.24 (+0.02) 1.21 (-0.01) 1.23 (-0.07) 3.68 (-0.02)
c21104 1.21 (+0.00) 1.22 (-0.04) 1.32 (+0.08) 3.75 (+0.01)
b9544a 1.21 (-0.07) 1.27 (+0.05) 1.23 (-0.04) 3.70 (-0.03)
33834c 1.31 (+0.05) 1.21 (-0.07) 1.29 (+0.04) 3.80 (+0.00)
521667 1.25 (+0.01) 1.29 (-0.08) 1.24 (-0.01) 3.79 (-0.03)
361648 1.24 (-0.02) 1.41 (+0.15) 1.25 (-0.02) 3.90 (+0.04)
fc0629 1.26 1.23 1.27 3.76

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query7]

platform: rds-postgres

revision Q7/1 Q7/2 Q7/3 total_duration
41aa62 53.88 (-0.00) 54.21 (+0.00) 54.71 (+0.01) 162.81 (+0.00)
7b5489 53.89 (-0.01) 54.21 (+0.00) 54.20 (+0.00) 162.30 (-0.00)
a23b07 54.37 (+0.01) 54.18 (-0.00) 54.18 (-0.00) 162.74 (+0.00)
cc2d00 53.87 (-0.00) 54.19 (-0.00) 54.19 (-0.01) 162.26 (-0.00)
ba9df2 53.95 (+0.00) 54.20 (-0.00) 54.71 (+0.01) 162.86 (+0.00)
a8f354 53.88 (+0.00) 54.21 (-0.01) 54.20 (+0.00) 162.29 (-0.00)
7feb0d 53.86 (-0.00) 54.69 (+0.01) 54.17 (+0.00) 162.72 (+0.00)
982fce 53.87 (+0.00) 54.18 (-0.01) 54.16 (-0.00) 162.21 (-0.00)
1f151d 53.84 (-0.01) 54.68 (+0.01) 54.16 (+0.00) 162.69 (+0.00)
ff1a1a 54.35 (+0.01) 54.15 (-0.01) 54.13 (+0.00) 162.63 (+0.00)
b1477b 53.81 (-0.01) 54.63 (+0.01) 54.13 (-0.00) 162.57 (-0.00)
1b947f 54.38 (+0.01) 54.18 (+0.00) 54.16 (+0.00) 162.73 (+0.00)
a21b55 53.85 (-0.00) 54.12 (-0.00) 54.11 (-0.00) 162.08 (-0.00)
4ba950 53.85 (-0.00) 54.14 (-0.00) 54.14 (-0.00) 162.13 (-0.00)
4e359d 53.91 (-0.01) 54.18 (+0.00) 54.20 (+0.00) 162.29 (-0.00)
3837fc 54.36 (-0.00) 54.17 (+0.00) 54.18 (+0.00) 162.72 (+0.00)
edcf4d 54.38 (+0.01) 54.13 (+0.00) 54.14 (+0.00) 162.64 (+0.00)
411c71 53.85 (-0.00) 54.11 (-0.00) 54.14 (-0.00) 162.10 (-0.00)
854348 53.89 (+0.00) 54.20 (+0.00) 54.21 (+0.00) 162.30 (+0.00)
7ba5c2 53.85 (-0.00) 54.16 (-0.01) 54.16 (-0.00) 162.18 (-0.00)
ebea29 53.88 (-0.00) 54.72 (+0.01) 54.19 (-0.00) 162.79 (+0.00)
22c890 53.95 (-0.01) 54.20 (+0.00) 54.19 (+0.00) 162.34 (-0.00)
f0b2e0 54.38 (+0.01) 54.19 (+0.00) 54.18 (-0.01) 162.76 (-0.00)
dec580 53.89 (+0.00) 54.19 (-0.01) 54.70 (+0.01) 162.78 (-0.00)
dec580 53.88 (-0.00) 54.72 (+0.01) 54.20 (-0.01) 162.81 (-0.00)
b1c2a6 53.88 (-0.01) 54.22 (+0.00) 54.73 (+0.01) 162.84 (+0.00)
931094 54.39 (+0.01) 54.21 (+0.00) 54.20 (+0.00) 162.80 (+0.00)
957acb 53.89 (-0.00) 54.21 (+0.00) 54.20 (+0.00) 162.29 (-0.00)
846532 53.95 (+0.00) 54.21 (+0.00) 54.20 (+0.00) 162.36 (+0.00)
d733bc 53.87 (-0.00) 54.19 (-0.00) 54.18 (-0.00) 162.24 (-0.00)
75ffe3 53.90 (-0.00) 54.20 (-0.00) 54.20 (-0.00) 162.31 (-0.00)
75ffe3 53.98 (+0.00) 54.21 (-0.01) 54.20 (+0.00) 162.40 (-0.00)
bf4623 53.86 (-0.01) 54.64 (+0.01) 54.16 (-0.00) 162.67 (-0.00)
b26c83 54.26 (+0.01) 54.32 (+0.00) 54.20 (+0.00) 162.78 (+0.00)
9d714a 53.88 (+0.00) 54.19 (-0.01) 54.19 (+0.00) 162.27 (-0.00)
6efea4 53.87 (+0.00) 54.71 (+0.01) 54.18 (-0.01) 162.77 (+0.00)
4071ff 53.85 (-0.00) 54.17 (-0.01) 54.68 (+0.01) 162.70 (-0.00)
4071ff 53.94 (+0.00) 54.71 (+0.01) 54.19 (-0.01) 162.84 (+0.00)
870ba4 53.88 (+0.00) 54.21 (+0.00) 54.71 (+0.01) 162.80 (+0.00)
f5ca89 53.87 (-0.00) 54.19 (-0.00) 54.18 (-0.00) 162.24 (-0.00)
8bd565 53.89 (-0.01) 54.22 (+0.00) 54.20 (-0.00) 162.31 (-0.00)
dd22c8 54.40 (+0.01) 54.21 (+0.00) 54.20 (-0.00) 162.81 (+0.00)
299db9 53.89 (+0.00) 54.21 (+0.00) 54.21 (+0.00) 162.31 (+0.00)
93f3f4 53.84 (-0.00) 54.16 (+0.00) 54.15 (-0.00) 162.14 (-0.00)
f6e2e0 53.87 (-0.00) 54.15 (-0.00) 54.17 (-0.00) 162.19 (-0.00)
f6e2e0 53.89 (-0.00) 54.21 (+0.00) 54.21 (+0.00) 162.31 (-0.00)
f6e2e0 53.95 (+0.00) 54.19 (+0.00) 54.18 (-0.00) 162.32 (+0.00)
f1d960 53.87 (-0.00) 54.19 (-0.00) 54.19 (-0.00) 162.26 (-0.00)
4a9279 53.97 (+0.00) 54.20 (-0.00) 54.23 (+0.00) 162.40 (+0.00)
2e4bf7 53.88 (+0.00) 54.20 (+0.00) 54.20 (+0.00) 162.29 (+0.00)
ce8fbb 53.86 (+0.00) 54.18 (+0.00) 54.17 (+0.00) 162.21 (+0.00)
ce8fbb 53.85 (-0.00) 54.18 (-0.00) 54.17 (-0.00) 162.20 (-0.00)
ce8fbb 53.88 (-0.00) 54.22 (-0.01) 54.17 (-0.00) 162.27 (-0.00)
d1a0f2 53.88 (-0.00) 54.72 (+0.01) 54.19 (-0.00) 162.79 (+0.00)
ccf92d 53.88 (-0.00) 54.20 (+0.00) 54.20 (+0.00) 162.28 (+0.00)
02b8e0 53.88 (+0.00) 54.20 (+0.00) 54.19 (-0.00) 162.27 (+0.00)
7b9057 53.87 (-0.00) 54.20 (-0.00) 54.19 (+0.00) 162.26 (-0.00)
9cada8 53.97 (+0.00) 54.21 (-0.00) 54.18 (-0.00) 162.36 (+0.00)
9cada8 53.89 (+0.00) 54.21 (-0.00) 54.20 (+0.00) 162.31 (+0.00)
9cada8 53.88 (-0.01) 54.24 (+0.00) 54.14 (-0.00) 162.26 (-0.00)
a60f68 54.46 (+0.01) 54.20 (+0.00) 54.21 (-0.01) 162.87 (+0.00)
d19c52 53.94 (+0.00) 54.19 (+0.00) 54.69 (+0.01) 162.82 (+0.00)
000eb1 53.89 (+0.00) 54.17 (-0.01) 54.18 (-0.00) 162.25 (-0.00)
000eb1 53.88 (-0.01) 54.71 (+0.01) 54.21 (+0.00) 162.81 (-0.00)
f51b48 54.42 (+0.00) 54.21 (+0.00) 54.20 (+0.00) 162.82 (+0.00)
f51b48 54.39 (+0.01) 54.20 (-0.01) 54.19 (-0.00) 162.78 (+0.00)
f51b48 53.87 (-0.00) 54.70 (+0.01) 54.19 (-0.01) 162.77 (+0.00)
9f906f 53.93 (-0.00) 54.15 (-0.00) 54.67 (+0.01) 162.75 (+0.00)
0692ff 53.94 (-0.01) 54.18 (-0.00) 54.21 (+0.00) 162.33 (-0.00)
2caece 54.45 (+0.01) 54.18 (-0.00) 54.17 (+0.00) 162.80 (+0.00)
bc7d3c 53.86 (+0.00) 54.19 (-0.01) 54.11 (-0.00) 162.17 (-0.00)
2153d2 53.82 (-0.00) 54.65 (+0.01) 54.16 (-0.01) 162.63 (-0.00)
2153d2 53.85 (-0.01) 54.18 (+0.00) 54.70 (+0.01) 162.73 (-0.00)
2153d2 54.42 (+0.01) 54.18 (-0.00) 54.15 (-0.00) 162.75 (+0.00)
a1b062 53.98 (+0.00) 54.20 (+0.00) 54.18 (+0.00) 162.36 (+0.00)
1d9d7c 53.85 (-0.01) 54.18 (-0.00) 54.17 (-0.00) 162.21 (-0.00)
3569c1 54.42 (+0.01) 54.21 (+0.00) 54.20 (-0.01) 162.83 (+0.00)
eaff14 53.88 (+0.00) 54.19 (-0.00) 54.71 (-0.00) 162.78 (-0.00)
f383b4 53.87 (-0.00) 54.19 (+0.00) 54.72 (+0.01) 162.78 (+0.00)
f383b4 53.95 (+0.00) 54.17 (-0.00) 54.18 (-0.00) 162.30 (+0.00)
f383b4 53.89 (-0.00) 54.20 (+0.00) 54.21 (+0.00) 162.30 (+0.00)
a4256b 53.89 (+0.00) 54.20 (+0.00) 54.18 (+0.00) 162.28 (+0.00)
371493 53.86 (-0.01) 54.18 (-0.00) 54.18 (+0.00) 162.22 (-0.00)
c5c143 54.46 (+0.01) 54.19 (-0.00) 54.17 (-0.00) 162.82 (+0.00)
58fa4f 53.88 (+0.00) 54.19 (+0.00) 54.19 (-0.01) 162.26 (-0.00)
121d53 53.86 (-0.00) 54.17 (-0.00) 54.69 (+0.01) 162.73 (+0.00)
121d53 53.88 (-0.00) 54.33 (+0.00) 54.07 (-0.01) 162.28 (-0.00)
ec3a3a 53.89 (+0.00) 54.20 (+0.00) 54.73 (+0.01) 162.82 (+0.00)
96e783 53.86 (-0.00) 54.17 (-0.01) 54.16 (-0.00) 162.19 (-0.00)
567b71 53.90 (+0.00) 54.70 (+0.01) 54.19 (-0.01) 162.79 (+0.00)
847fc5 53.88 (-0.00) 54.13 (-0.00) 54.68 (-0.00) 162.70 (-0.00)
5e08b3 53.88 (-0.00) 54.20 (+0.00) 54.70 (+0.01) 162.78 (+0.00)
4d291d 53.94 (+0.00) 54.16 (-0.00) 54.15 (-0.00) 162.25 (+0.00)
4d291d 53.86 (-0.01) 54.18 (-0.00) 54.18 (-0.00) 162.23 (-0.00)
bf63f1 54.38 (+0.01) 54.20 (+0.00) 54.19 (+0.00) 162.77 (+0.00)
0a0958 53.92 (-0.00) 54.14 (-0.00) 54.19 (+0.00) 162.24 (-0.00)
aabca5 53.94 (+0.00) 54.19 (+0.00) 54.17 (+0.00) 162.30 (+0.00)
a4be54 53.81 (-0.00) 54.10 (-0.00) 54.10 (-0.01) 162.01 (-0.00)
a3d7ad 53.84 (-0.01) 54.15 (-0.00) 54.67 (+0.01) 162.66 (-0.00)
a3d7ad 54.40 (+0.01) 54.21 (+0.00) 54.23 (+0.00) 162.84 (+0.00)
8ba169 53.94 (+0.00) 54.18 (+0.00) 54.21 (-0.01) 162.33 (-0.00)
e5cc2f 53.80 (-0.00) 54.13 (-0.00) 54.63 (+0.01) 162.56 (+0.00)
c6b56d 53.98 (-0.01) 54.20 (+0.00) 54.22 (+0.00) 162.41 (-0.00)
e067cd 54.33 (+0.01) 54.13 (-0.01) 54.13 (-0.00) 162.60 (-0.00)
bce423 53.83 (-0.00) 54.66 (-0.00) 54.15 (-0.00) 162.64 (-0.00)
bce423 53.86 (+0.00) 54.73 (+0.01) 54.20 (+0.00) 162.80 (+0.00)
c28bfd 53.82 (-0.01) 54.13 (-0.00) 54.12 (-0.00) 162.07 (-0.00)
95bf19 54.37 (+0.01) 54.19 (+0.00) 54.21 (-0.01) 162.77 (+0.00)
95bf19 53.87 (+0.00) 54.18 (+0.00) 54.70 (+0.01) 162.75 (+0.00)
080752 53.82 (-0.00) 54.14 (-0.01) 54.13 (-0.00) 162.10 (-0.00)
23d5e2 53.86 (-0.00) 54.71 (+0.01) 54.19 (-0.01) 162.77 (+0.00)
23d5e2 53.86 (+0.00) 54.19 (+0.00) 54.68 (-0.00) 162.73 (-0.00)
8b710b 53.86 (+0.00) 54.18 (-0.01) 54.69 (+0.01) 162.73 (-0.00)
8c6e60 53.85 (+0.00) 54.70 (+0.01) 54.18 (+0.00) 162.73 (+0.00)
10dae7 53.84 (-0.01) 54.16 (+0.00) 54.16 (+0.00) 162.16 (-0.00)
4c4d3d 54.38 (+0.01) 54.11 (-0.00) 54.10 (-0.01) 162.60 (-0.00)
9f94d0 53.86 (-0.01) 54.18 (-0.00) 54.70 (+0.01) 162.74 (-0.00)
9f94d0 54.38 (+0.01) 54.19 (-0.00) 54.19 (+0.00) 162.77 (+0.00)
9f94d0 53.85 (+0.00) 54.19 (+0.00) 54.18 (+0.00) 162.22 (+0.00)
c700c7 53.83 (-0.00) 54.16 (-0.00) 54.15 (-0.00) 162.15 (-0.00)
42c6dd 53.88 (+0.00) 54.19 (+0.00) 54.19 (+0.00) 162.26 (+0.00)
f6bf7b 53.86 (-0.01) 54.18 (+0.00) 54.17 (+0.00) 162.21 (-0.00)
1137b5 54.35 (-0.00) 54.17 (-0.00) 54.16 (-0.00) 162.67 (-0.00)
1468c6 54.47 (+0.00) 54.19 (+0.00) 54.19 (+0.00) 162.85 (+0.00)
1468c6 54.38 (+0.01) 54.19 (+0.00) 54.19 (+0.00) 162.75 (+0.00)
c01f92 53.85 (+0.00) 54.19 (-0.01) 54.19 (+0.00) 162.23 (-0.00)
7ff591 53.84 (-0.00) 54.68 (+0.01) 54.17 (-0.00) 162.69 (+0.00)
5d4774 53.88 (+0.00) 54.19 (+0.00) 54.18 (-0.00) 162.25 (+0.00)
56d8c2 53.85 (+0.00) 54.18 (+0.00) 54.18 (-0.01) 162.22 (-0.00)
12e6f4 53.82 (-0.00) 54.06 (-0.00) 54.57 (+0.01) 162.44 (+0.00)
12e6f4 53.88 (+0.00) 54.18 (-0.00) 54.19 (+0.00) 162.25 (+0.00)
61194a 53.86 (-0.00) 54.18 (+0.00) 54.19 (-0.01) 162.23 (-0.00)
70ce01 53.87 (-0.00) 54.18 (-0.00) 54.69 (+0.01) 162.74 (+0.00)
c04c20 53.88 (+0.00) 54.19 (-0.01) 54.19 (-0.00) 162.26 (-0.00)
827ee1 53.87 (+0.00) 54.71 (+0.01) 54.19 (+0.00) 162.77 (+0.00)
22ae67 53.85 (-0.00) 54.16 (-0.00) 54.16 (-0.01) 162.18 (-0.00)
0f4458 53.87 (-0.01) 54.21 (-0.00) 54.72 (+0.01) 162.81 (+0.00)
0f4458 54.39 (+0.01) 54.22 (-0.01) 54.20 (+0.00) 162.81 (+0.00)
0f4458 53.87 (-0.01) 54.72 (+0.01) 54.17 (-0.00) 162.76 (-0.00)
b8a566 54.38 (+0.01) 54.22 (+0.00) 54.20 (-0.01) 162.79 (+0.00)
b8a566 53.84 (+0.06) 54.19 (+0.06) 54.70 (+0.06) 162.74 (+0.06)
9747e9 50.75 (-0.06) 51.07 (-0.06) 51.57 (-0.05) 153.40 (-0.05)
b50e07 53.90 (-0.00) 54.09 (-0.00) 54.09 (-0.00) 162.09 (-0.00)
6a57d5 53.95 (+0.01) 54.20 (+0.00) 54.16 (-0.01) 162.30 (-0.00)
c0480f 53.44 (+0.00) 54.19 (+0.00) 54.69 (+0.00) 162.32 (+0.00)
4f443c 53.39 (+0.00) 54.12 (+0.00) 54.63 (+0.01) 162.14 (+0.00)
4f443c 53.31 (-0.00) 54.03 (-0.01) 54.02 (-0.00) 161.35 (-0.01)
788823 53.41 (-0.00) 54.64 (+0.01) 54.13 (-0.01) 162.18 (-0.00)
c21104 53.42 (+0.00) 54.17 (+0.00) 54.68 (+0.01) 162.28 (+0.00)
b9544a 53.38 (+0.00) 54.10 (+0.00) 54.12 (-0.01) 161.60 (-0.00)
33834c 53.35 (+0.00) 54.10 (+0.00) 54.62 (+0.01) 162.07 (+0.00)
521667 53.33 (-0.00) 54.05 (-0.00) 54.06 (-0.01) 161.45 (-0.00)
361648 53.36 (-0.00) 54.08 (-0.00) 54.59 (+0.01) 162.03 (+0.00)
fc0629 53.46 54.20 54.20 161.87

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query8]

platform: rds-postgres

revision Q8/1 Q8/2 Q8/3 total_duration
41aa62 60.88 (+0.00) 60.74 (-0.02) 61.60 (-0.00) 183.23 (-0.01)
7b5489 60.62 (+0.00) 62.03 (+0.01) 61.61 (+0.01) 184.26 (+0.01)
a23b07 60.53 (-0.00) 61.19 (+0.01) 61.09 (-0.00) 182.81 (+0.00)
cc2d00 60.74 (-0.01) 60.67 (-0.01) 61.34 (-0.01) 182.76 (-0.01)
ba9df2 61.31 (+0.01) 61.18 (-0.01) 61.84 (+0.00) 184.33 (+0.00)
a8f354 60.68 (+0.01) 61.50 (+0.02) 61.75 (+0.02) 183.94 (+0.02)
7feb0d 60.30 (-0.02) 60.33 (-0.02) 60.38 (-0.02) 181.01 (-0.02)
982fce 61.27 (+0.00) 61.71 (+0.00) 61.35 (+0.00) 184.33 (+0.00)
1f151d 61.14 (+0.01) 61.57 (+0.01) 61.29 (+0.01) 184.01 (+0.01)
ff1a1a 60.70 (+0.01) 61.17 (+0.01) 60.70 (+0.00) 182.58 (+0.01)
b1477b 60.40 (-0.01) 60.51 (-0.00) 60.49 (-0.00) 181.41 (-0.00)
1b947f 60.83 (+0.01) 60.78 (+0.01) 60.58 (-0.01) 182.20 (+0.00)
a21b55 60.41 (-0.01) 60.46 (-0.01) 60.93 (+0.00) 181.80 (-0.00)
4ba950 61.28 (-0.01) 60.77 (+0.00) 60.66 (-0.00) 182.71 (-0.01)
4e359d 62.13 (+0.03) 60.74 (+0.00) 60.85 (+0.00) 183.73 (+0.01)
3837fc 60.50 (-0.00) 60.60 (+0.00) 60.64 (-0.01) 181.74 (-0.00)
edcf4d 60.55 (-0.00) 60.44 (-0.00) 61.02 (+0.01) 182.02 (+0.00)
411c71 60.72 (+0.00) 60.53 (-0.00) 60.57 (-0.01) 181.82 (-0.00)
854348 60.46 (-0.00) 60.65 (-0.01) 61.19 (+0.01) 182.30 (-0.00)
7ba5c2 60.73 (+0.01) 61.10 (+0.01) 60.47 (+0.00) 182.31 (+0.01)
ebea29 60.32 (-0.01) 60.35 (+0.00) 60.27 (+0.00) 180.94 (-0.00)
22c890 60.95 (+0.01) 60.24 (-0.01) 60.18 (-0.01) 181.38 (-0.00)
f0b2e0 60.37 (+0.00) 60.86 (+0.01) 60.64 (+0.00) 181.88 (+0.00)
dec580 60.36 (-0.01) 60.40 (-0.00) 60.39 (-0.01) 181.15 (-0.01)
dec580 61.07 (+0.01) 60.52 (+0.00) 60.72 (-0.01) 182.31 (+0.00)
b1c2a6 60.44 (+0.00) 60.47 (+0.00) 61.20 (+0.01) 182.12 (+0.01)
931094 60.19 (-0.02) 60.29 (-0.00) 60.69 (+0.01) 181.18 (-0.01)
957acb 61.54 (+0.01) 60.33 (+0.00) 60.29 (+0.00) 182.16 (+0.01)
846532 60.79 (+0.01) 60.18 (-0.01) 60.18 (-0.00) 181.15 (+0.00)
d733bc 60.21 (-0.00) 60.73 (-0.00) 60.21 (-0.00) 181.15 (-0.00)
75ffe3 60.42 (+0.00) 60.96 (+0.01) 60.42 (-0.01) 181.80 (-0.00)
75ffe3 60.37 (+0.00) 60.48 (+0.01) 60.96 (+0.01) 181.81 (+0.01)
bf4623 60.15 (-0.01) 60.12 (-0.00) 60.09 (-0.00) 180.36 (-0.01)
b26c83 60.72 (-0.01) 60.31 (-0.01) 60.34 (-0.00) 181.37 (-0.01)
9d714a 61.14 (+0.01) 60.75 (+0.01) 60.45 (+0.00) 182.35 (+0.01)
6efea4 60.25 (-0.01) 60.30 (+0.00) 60.30 (+0.00) 180.84 (-0.00)
4071ff 60.89 (+0.01) 60.19 (-0.01) 60.00 (-0.00) 181.08 (-0.00)
4071ff 60.31 (-0.00) 60.97 (+0.01) 60.25 (-0.00) 181.53 (+0.00)
870ba4 60.39 (-0.01) 60.45 (+0.00) 60.44 (-0.00) 181.27 (-0.00)
f5ca89 60.76 (-0.00) 60.26 (-0.01) 60.56 (+0.00) 181.58 (-0.00)
8bd565 60.94 (+0.01) 61.11 (+0.01) 60.29 (-0.00) 182.34 (+0.01)
dd22c8 60.13 (-0.01) 60.60 (-0.00) 60.38 (-0.01) 181.11 (-0.01)
299db9 60.45 (-0.00) 60.73 (-0.00) 61.01 (+0.01) 182.19 (+0.00)
93f3f4 60.49 (-0.00) 60.95 (+0.01) 60.40 (+0.00) 181.84 (+0.00)
f6e2e0 60.74 (+0.01) 60.31 (-0.00) 60.17 (-0.00) 181.23 (+0.00)
f6e2e0 60.23 (-0.00) 60.44 (+0.00) 60.38 (-0.01) 181.05 (-0.00)
f6e2e0 60.29 (-0.00) 60.33 (-0.00) 60.74 (-0.00) 181.37 (-0.00)
f1d960 60.39 (+0.00) 60.48 (-0.01) 61.00 (+0.01) 181.87 (-0.00)
4a9279 60.38 (-0.00) 61.10 (+0.00) 60.45 (-0.00) 181.93 (-0.00)
2e4bf7 60.43 (+0.00) 61.03 (+0.01) 60.50 (+0.00) 181.95 (+0.00)
ce8fbb 60.26 (-0.01) 60.55 (+0.00) 60.30 (+0.00) 181.11 (-0.00)
ce8fbb 60.99 (+0.01) 60.26 (-0.00) 60.16 (-0.00) 181.42 (+0.00)
ce8fbb 60.22 (+0.00) 60.45 (+0.00) 60.23 (-0.00) 180.91 (-0.00)
d1a0f2 60.19 (-0.01) 60.42 (-0.00) 60.48 (+0.00) 181.09 (-0.00)
ccf92d 60.84 (-0.00) 60.61 (-0.01) 60.41 (+0.00) 181.86 (-0.00)
02b8e0 61.00 (+0.00) 60.98 (+0.01) 60.33 (+0.00) 182.31 (+0.01)
7b9057 60.71 (+0.01) 60.13 (-0.01) 60.32 (+0.00) 181.16 (-0.00)
9cada8 60.36 (+0.00) 60.73 (-0.01) 60.16 (-0.01) 181.25 (-0.00)
9cada8 60.28 (+0.00) 61.07 (+0.00) 60.47 (+0.00) 181.83 (+0.00)
9cada8 60.20 (-0.02) 60.80 (-0.01) 60.31 (-0.01) 181.31 (-0.02)
a60f68 61.70 (+0.02) 61.34 (+0.02) 61.10 (+0.02) 184.14 (+0.02)
d19c52 60.25 (-0.00) 60.25 (-0.01) 60.18 (-0.00) 180.68 (-0.01)
000eb1 60.42 (-0.00) 60.85 (+0.00) 60.34 (-0.00) 181.61 (+0.00)
000eb1 60.46 (+0.00) 60.58 (+0.00) 60.41 (-0.01) 181.44 (+0.00)
f51b48 60.30 (+0.00) 60.33 (-0.00) 60.73 (+0.01) 181.36 (+0.00)
f51b48 60.18 (-0.00) 60.57 (+0.00) 60.20 (-0.00) 180.95 (-0.00)
f51b48 60.40 (-0.00) 60.39 (-0.00) 60.28 (-0.00) 181.08 (-0.00)
9f906f 60.46 (-0.01) 60.54 (+0.00) 60.46 (+0.00) 181.46 (-0.00)
0692ff 61.05 (+0.01) 60.53 (-0.00) 60.43 (-0.02) 182.01 (-0.00)
2caece 60.51 (-0.02) 60.56 (-0.03) 61.73 (+0.02) 182.80 (-0.01)
bc7d3c 61.59 (+0.02) 62.29 (+0.01) 60.69 (+0.01) 184.57 (+0.01)
2153d2 60.34 (-0.01) 61.55 (+0.02) 60.33 (-0.00) 182.23 (+0.00)
2153d2 60.70 (+0.00) 60.41 (+0.00) 60.44 (-0.00) 181.57 (+0.00)
2153d2 60.43 (-0.00) 60.27 (-0.02) 60.53 (-0.02) 181.23 (-0.01)
a1b062 60.59 (-0.00) 61.48 (+0.01) 61.73 (+0.02) 183.80 (+0.01)
1d9d7c 60.74 (+0.01) 60.65 (+0.01) 60.34 (-0.00) 181.74 (+0.00)
3569c1 60.31 (+0.00) 60.34 (-0.01) 60.37 (+0.00) 181.02 (-0.00)
eaff14 60.27 (-0.01) 60.99 (+0.00) 60.32 (-0.01) 181.58 (-0.00)
f383b4 60.65 (-0.00) 60.79 (+0.00) 60.70 (+0.00) 182.14 (+0.00)
f383b4 60.86 (+0.00) 60.71 (+0.01) 60.40 (+0.00) 181.97 (+0.00)
f383b4 60.71 (+0.01) 60.31 (-0.03) 60.33 (-0.00) 181.35 (-0.01)
a4256b 60.26 (-0.00) 62.08 (+0.02) 60.34 (-0.00) 182.68 (+0.01)
371493 60.27 (+0.00) 60.82 (+0.01) 60.43 (-0.01) 181.52 (+0.00)
c5c143 60.22 (-0.01) 60.27 (-0.01) 60.83 (+0.01) 181.32 (-0.00)
58fa4f 60.58 (+0.00) 60.91 (+0.01) 60.28 (-0.01) 181.77 (+0.00)
121d53 60.40 (-0.01) 60.44 (+0.00) 60.85 (+0.01) 181.70 (+0.00)
121d53 60.82 (+0.01) 60.28 (-0.00) 60.42 (+0.00) 181.52 (+0.00)
ec3a3a 60.32 (-0.00) 60.38 (-0.00) 60.34 (-0.02) 181.04 (-0.01)
96e783 60.37 (+0.00) 60.45 (+0.00) 61.68 (+0.02) 182.50 (+0.01)
567b71 60.27 (-0.00) 60.31 (-0.00) 60.20 (-0.00) 180.78 (-0.00)
847fc5 60.32 (+0.00) 60.49 (+0.00) 60.39 (+0.00) 181.19 (+0.00)
5e08b3 60.29 (+0.00) 60.42 (-0.01) 60.34 (-0.00) 181.05 (-0.00)
4d291d 60.24 (-0.01) 60.98 (-0.01) 60.42 (+0.00) 181.64 (-0.01)
4d291d 60.93 (+0.01) 61.48 (+0.02) 60.36 (-0.02) 182.77 (+0.00)
bf63f1 60.34 (-0.01) 60.34 (-0.00) 61.29 (+0.01) 181.97 (+0.00)
0a0958 60.81 (-0.00) 60.36 (-0.01) 60.50 (-0.00) 181.67 (-0.00)
aabca5 60.82 (+0.01) 61.13 (+0.00) 60.57 (+0.00) 182.52 (+0.00)
a4be54 60.37 (-0.00) 60.97 (+0.01) 60.34 (-0.01) 181.69 (+0.00)
a3d7ad 60.65 (+0.01) 60.29 (-0.00) 60.66 (-0.00) 181.61 (+0.00)
a3d7ad 60.24 (-0.02) 60.35 (+0.00) 60.87 (+0.01) 181.47 (-0.00)
8ba169 61.71 (+0.03) 60.32 (+0.00) 60.34 (+0.00) 182.36 (+0.01)
e5cc2f 60.19 (-0.01) 60.21 (-0.01) 60.17 (-0.01) 180.57 (-0.01)
c6b56d 60.93 (+0.01) 61.11 (+0.01) 60.61 (+0.01) 182.65 (+0.01)
e067cd 60.28 (-0.00) 60.24 (-0.00) 60.19 (-0.00) 180.71 (-0.00)
bce423 60.37 (+0.00) 60.36 (-0.00) 60.20 (-0.00) 180.93 (+0.00)
bce423 60.30 (-0.01) 60.36 (-0.00) 60.24 (+0.00) 180.91 (-0.00)
c28bfd 60.61 (+0.00) 60.55 (+0.00) 60.01 (-0.01) 181.17 (-0.00)
95bf19 60.42 (+0.00) 60.45 (+0.00) 60.47 (+0.00) 181.34 (+0.00)
95bf19 60.19 (-0.00) 60.31 (-0.01) 60.27 (+0.00) 180.76 (-0.00)
080752 60.33 (+0.00) 60.74 (+0.00) 60.22 (-0.01) 181.29 (-0.00)
23d5e2 60.15 (-0.02) 60.47 (-0.00) 60.72 (+0.01) 181.34 (-0.00)
23d5e2 61.25 (+0.01) 60.60 (+0.01) 60.37 (+0.00) 182.23 (+0.01)
8b710b 60.55 (-0.00) 60.26 (-0.01) 60.35 (+0.00) 181.17 (-0.00)
8c6e60 60.61 (-0.00) 60.63 (+0.01) 60.33 (+0.00) 181.57 (+0.00)
10dae7 60.64 (+0.00) 60.21 (-0.01) 60.24 (-0.01) 181.09 (-0.00)
4c4d3d 60.44 (-0.00) 60.77 (+0.01) 60.74 (+0.00) 181.95 (+0.00)
9f94d0 60.47 (+0.00) 60.44 (-0.00) 60.63 (-0.01) 181.54 (-0.00)
9f94d0 60.29 (-0.01) 60.54 (+0.00) 61.02 (+0.01) 181.85 (+0.00)
9f94d0 60.86 (+0.01) 60.28 (-0.01) 60.33 (-0.00) 181.46 (-0.00)
c700c7 60.40 (+0.00) 61.10 (+0.00) 60.62 (+0.01) 182.12 (+0.00)
42c6dd 60.34 (-0.00) 60.85 (-0.00) 60.23 (-0.01) 181.43 (-0.00)
f6bf7b 60.61 (+0.00) 61.06 (+0.01) 60.59 (-0.01) 182.26 (+0.00)
1137b5 60.41 (-0.00) 60.36 (-0.00) 60.91 (+0.00) 181.68 (-0.00)
1468c6 60.47 (+0.00) 60.46 (+0.00) 60.87 (-0.00) 181.80 (+0.00)
1468c6 60.33 (-0.01) 60.40 (+0.00) 60.90 (+0.01) 181.64 (+0.00)
c01f92 60.90 (+0.01) 60.37 (-0.00) 60.22 (-0.00) 181.49 (+0.00)
7ff591 60.32 (+0.00) 60.67 (-0.00) 60.37 (-0.00) 181.36 (-0.00)
5d4774 60.20 (-0.00) 60.86 (+0.01) 60.57 (-0.00) 181.63 (+0.00)
56d8c2 60.33 (-0.01) 60.27 (-0.00) 60.86 (+0.00) 181.46 (-0.00)
12e6f4 60.76 (+0.00) 60.40 (+0.00) 60.60 (+0.01) 181.77 (+0.00)
12e6f4 60.73 (+0.01) 60.22 (-0.00) 60.28 (-0.01) 181.24 (-0.00)
61194a 60.32 (-0.00) 60.43 (-0.00) 61.01 (+0.01) 181.75 (+0.00)
70ce01 60.38 (-0.00) 60.50 (-0.01) 60.47 (+0.00) 181.35 (-0.00)
c04c20 60.40 (-0.00) 60.98 (-0.00) 60.46 (-0.02) 181.84 (-0.01)
827ee1 60.45 (-0.01) 61.15 (+0.01) 61.41 (+0.01) 183.02 (+0.01)
22ae67 60.84 (+0.00) 60.57 (-0.00) 60.58 (+0.00) 181.99 (+0.00)
0f4458 60.64 (-0.01) 60.61 (-0.00) 60.53 (-0.01) 181.77 (-0.01)
0f4458 61.09 (+0.01) 60.88 (+0.00) 60.85 (-0.01) 182.82 (+0.00)
0f4458 60.46 (-0.00) 60.59 (-0.00) 61.17 (-0.00) 182.22 (-0.00)
b8a566 60.67 (+0.00) 60.77 (+0.00) 61.29 (+0.00) 182.73 (+0.00)
b8a566 60.63 (+0.05) 60.71 (+0.05) 61.19 (+0.07) 182.54 (+0.06)
9747e9 57.54 (-0.05) 57.60 (-0.04) 57.26 (-0.05) 172.41 (-0.05)
b50e07 60.69 (-0.01) 59.79 (-0.00) 60.18 (+0.00) 180.67 (-0.00)
6a57d5 61.21 (+0.01) 59.93 (-0.00) 59.95 (-0.01) 181.08 (+0.00)
c0480f 60.50 (+0.00) 60.08 (-0.01) 60.47 (+0.00) 181.05 (-0.00)
4f443c 60.37 (+0.00) 60.68 (+0.01) 60.34 (+0.01) 181.39 (+0.01)
4f443c 60.07 (-0.01) 60.13 (+0.01) 59.84 (-0.01) 180.04 (-0.00)
788823 60.46 (-0.00) 59.82 (-0.01) 60.45 (-0.00) 180.74 (-0.01)
c21104 60.55 (+0.00) 60.59 (+0.01) 60.73 (+0.01) 181.88 (+0.01)
b9544a 60.32 (-0.00) 60.26 (+0.01) 60.14 (-0.00) 180.72 (+0.00)
33834c 60.41 (-0.02) 59.79 (-0.00) 60.16 (+0.01) 180.37 (-0.00)
521667 61.63 (+0.00) 59.85 (-0.00) 59.69 (+0.00) 181.18 (+0.00)
361648 61.36 (-0.01) 59.90 (-0.02) 59.57 (-0.01) 180.83 (-0.01)
fc0629 62.08 61.07 60.25 183.40

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query9]

platform: rds-postgres

revision Q9/1 Q9/2 Q9/3 total_duration
41aa62 62.04 (+0.00) 61.75 (+0.01) 62.06 (-0.00) 185.85 (+0.00)
7b5489 61.85 (+0.02) 60.86 (+0.00) 62.25 (+0.03) 184.95 (+0.01)
a23b07 60.78 (-0.00) 60.81 (-0.00) 60.70 (-0.00) 182.30 (-0.00)
cc2d00 60.86 (-0.00) 60.97 (-0.01) 61.00 (-0.00) 182.83 (-0.00)
ba9df2 60.89 (-0.02) 61.52 (-0.01) 61.12 (+0.00) 183.53 (-0.01)
a8f354 62.05 (+0.02) 62.13 (+0.03) 60.90 (+0.01) 185.07 (+0.02)
7feb0d 61.05 (+0.00) 60.60 (-0.02) 60.53 (-0.03) 182.19 (-0.01)
982fce 60.85 (-0.02) 61.61 (-0.00) 62.33 (+0.02) 184.79 (-0.00)
1f151d 62.05 (+0.01) 61.82 (+0.02) 61.14 (+0.01) 185.01 (+0.01)
ff1a1a 61.27 (-0.00) 60.82 (-0.00) 60.82 (+0.00) 182.91 (-0.00)
b1477b 61.34 (-0.01) 60.85 (-0.01) 60.78 (-0.01) 182.97 (-0.01)
1b947f 61.91 (+0.02) 61.61 (+0.00) 61.59 (+0.01) 185.11 (+0.01)
a21b55 60.82 (-0.00) 61.42 (+0.01) 60.80 (-0.01) 183.04 (-0.00)
4ba950 60.92 (-0.00) 60.77 (-0.02) 61.66 (+0.00) 183.35 (-0.01)
4e359d 61.01 (+0.00) 61.77 (+0.01) 61.65 (+0.01) 184.43 (+0.01)
3837fc 60.90 (+0.00) 61.19 (+0.00) 60.94 (+0.00) 183.03 (+0.00)
edcf4d 60.84 (+0.00) 61.03 (+0.00) 60.77 (-0.00) 182.64 (+0.00)
411c71 60.70 (-0.00) 60.77 (-0.00) 60.90 (+0.00) 182.38 (+0.00)
854348 60.70 (+0.00) 60.83 (-0.01) 60.82 (+0.00) 182.36 (-0.00)
7ba5c2 60.64 (-0.01) 61.37 (+0.01) 60.60 (+0.00) 182.60 (+0.00)
ebea29 60.95 (+0.01) 60.47 (-0.00) 60.40 (-0.01) 181.82 (-0.00)
22c890 60.59 (-0.01) 60.61 (-0.01) 61.10 (+0.01) 182.31 (-0.00)
f0b2e0 60.96 (+0.01) 60.93 (-0.00) 60.71 (+0.00) 182.60 (+0.00)
dec580 60.61 (-0.00) 61.05 (-0.01) 60.64 (-0.00) 182.31 (-0.00)
dec580 60.77 (+0.01) 61.37 (+0.00) 60.78 (-0.00) 182.92 (+0.00)
b1c2a6 60.47 (-0.00) 61.29 (+0.01) 60.83 (+0.00) 182.59 (+0.00)
931094 60.69 (+0.00) 60.80 (+0.00) 60.68 (-0.01) 182.17 (-0.00)
957acb 60.68 (+0.00) 60.79 (+0.00) 61.30 (+0.00) 182.78 (+0.00)
846532 60.62 (+0.00) 60.70 (-0.00) 61.21 (+0.01) 182.54 (+0.00)
d733bc 60.44 (-0.02) 60.71 (-0.00) 60.73 (+0.00) 181.88 (-0.01)
75ffe3 61.51 (+0.01) 60.84 (+0.00) 60.55 (+0.00) 182.91 (+0.01)
75ffe3 60.66 (-0.01) 60.60 (+0.00) 60.53 (-0.00) 181.79 (-0.00)
bf4623 60.99 (+0.00) 60.51 (-0.00) 60.54 (-0.00) 182.04 (-0.00)
b26c83 60.83 (+0.00) 60.65 (-0.00) 60.67 (-0.01) 182.15 (-0.00)
9d714a 60.75 (-0.00) 60.75 (-0.01) 61.38 (-0.00) 182.88 (-0.00)
6efea4 60.99 (+0.01) 61.27 (-0.01) 61.39 (+0.01) 183.65 (+0.01)
4071ff 60.30 (-0.01) 61.73 (+0.02) 60.66 (-0.01) 182.70 (+0.00)
4071ff 61.01 (+0.01) 60.61 (-0.02) 61.04 (+0.01) 182.67 (-0.00)
870ba4 60.70 (+0.00) 61.59 (+0.01) 60.65 (-0.02) 182.94 (-0.00)
f5ca89 60.46 (-0.00) 60.72 (+0.00) 61.99 (+0.01) 183.17 (+0.01)
8bd565 60.49 (-0.02) 60.63 (-0.00) 61.11 (+0.01) 182.23 (-0.01)
dd22c8 61.76 (+0.02) 60.80 (+0.00) 60.67 (+0.00) 183.23 (+0.01)
299db9 60.65 (+0.00) 60.60 (+0.00) 60.61 (-0.00) 181.85 (+0.00)
93f3f4 60.43 (-0.00) 60.58 (+0.00) 60.63 (-0.00) 181.64 (-0.00)
f6e2e0 60.46 (-0.00) 60.45 (-0.00) 60.91 (+0.00) 181.82 (-0.00)
f6e2e0 60.68 (-0.00) 60.60 (-0.00) 60.69 (-0.00) 181.97 (-0.00)
f6e2e0 60.79 (+0.00) 60.66 (+0.00) 60.82 (+0.01) 182.28 (+0.00)
f1d960 60.62 (-0.00) 60.63 (-0.00) 60.51 (-0.01) 181.77 (-0.00)
4a9279 60.70 (-0.00) 60.64 (-0.01) 60.84 (+0.00) 182.18 (-0.00)
2e4bf7 60.84 (+0.01) 61.01 (+0.01) 60.67 (+0.00) 182.53 (+0.01)
ce8fbb 60.42 (+0.00) 60.50 (-0.00) 60.56 (-0.01) 181.48 (-0.00)
ce8fbb 60.35 (-0.01) 60.50 (-0.00) 61.11 (+0.01) 181.97 (-0.00)
ce8fbb 61.20 (+0.00) 60.51 (-0.01) 60.66 (+0.00) 182.37 (-0.00)
d1a0f2 61.17 (+0.00) 60.84 (+0.00) 60.62 (-0.01) 182.64 (-0.00)
ccf92d 60.89 (+0.01) 60.68 (-0.00) 61.52 (-0.01) 183.09 (-0.00)
02b8e0 60.57 (+0.00) 60.68 (+0.00) 61.86 (+0.01) 183.11 (+0.01)
7b9057 60.42 (-0.01) 60.45 (-0.00) 61.00 (+0.01) 181.87 (-0.00)
9cada8 61.20 (+0.00) 60.49 (-0.01) 60.49 (-0.00) 182.18 (-0.00)
9cada8 60.93 (+0.01) 61.19 (+0.01) 60.77 (+0.00) 182.90 (+0.01)
9cada8 60.53 (-0.00) 60.63 (-0.02) 60.60 (-0.02) 181.76 (-0.01)
a60f68 60.73 (+0.00) 61.82 (+0.01) 61.66 (+0.01) 184.22 (+0.01)
d19c52 60.63 (+0.00) 61.10 (+0.01) 60.77 (+0.00) 182.50 (+0.01)
000eb1 60.48 (-0.02) 60.46 (-0.01) 60.53 (-0.02) 181.48 (-0.02)
000eb1 61.49 (+0.02) 60.93 (+0.00) 61.86 (+0.02) 184.29 (+0.01)
f51b48 60.48 (-0.01) 60.64 (-0.00) 60.81 (+0.00) 181.93 (-0.00)
f51b48 61.02 (+0.01) 60.79 (-0.01) 60.73 (+0.00) 182.55 (+0.00)
f51b48 60.58 (-0.00) 61.10 (-0.00) 60.53 (-0.00) 182.21 (-0.00)
9f906f 60.74 (+0.00) 61.30 (+0.01) 60.69 (-0.00) 182.72 (+0.00)
0692ff 60.58 (-0.00) 60.84 (-0.01) 60.73 (-0.00) 182.14 (-0.01)
2caece 60.82 (-0.00) 61.72 (+0.02) 60.83 (+0.00) 183.36 (+0.01)
bc7d3c 61.06 (+0.00) 60.74 (+0.00) 60.56 (-0.00) 182.36 (+0.00)
2153d2 60.97 (-0.00) 60.48 (-0.01) 60.57 (-0.01) 182.02 (-0.01)
2153d2 61.19 (-0.00) 61.07 (+0.01) 60.91 (-0.01) 183.17 (-0.00)
2153d2 61.39 (+0.01) 60.60 (-0.00) 61.51 (+0.01) 183.50 (+0.01)
a1b062 60.83 (+0.01) 60.79 (+0.00) 60.93 (-0.00) 182.55 (+0.00)
1d9d7c 60.50 (-0.01) 60.60 (-0.01) 61.12 (+0.00) 182.22 (-0.00)
3569c1 61.02 (+0.00) 60.97 (-0.00) 60.93 (+0.01) 182.92 (+0.00)
eaff14 60.92 (-0.00) 61.16 (-0.00) 60.56 (-0.01) 182.63 (-0.00)
f383b4 61.00 (+0.01) 61.45 (+0.01) 60.98 (-0.00) 183.43 (+0.00)
f383b4 60.62 (+0.00) 60.98 (+0.01) 61.13 (+0.00) 182.73 (+0.00)
f383b4 60.39 (-0.00) 60.55 (-0.00) 61.07 (+0.01) 182.02 (-0.00)
a4256b 60.63 (-0.00) 60.75 (+0.00) 60.75 (+0.00) 182.13 (+0.00)
371493 60.66 (-0.00) 60.54 (+0.00) 60.65 (+0.00) 181.85 (+0.00)
c5c143 60.73 (+0.00) 60.54 (-0.00) 60.57 (-0.00) 181.83 (-0.00)
58fa4f 60.64 (+0.00) 60.74 (-0.01) 60.63 (+0.00) 182.01 (-0.00)
121d53 60.58 (-0.00) 61.18 (+0.01) 60.63 (-0.01) 182.39 (-0.00)
121d53 60.60 (+0.00) 60.81 (-0.00) 61.17 (+0.01) 182.58 (+0.00)
ec3a3a 60.56 (+0.00) 61.08 (+0.01) 60.50 (+0.00) 182.14 (+0.00)
96e783 60.44 (-0.01) 60.58 (+0.00) 60.32 (-0.00) 181.35 (-0.00)
567b71 61.00 (-0.00) 60.51 (-0.01) 60.60 (+0.00) 182.11 (-0.00)
847fc5 61.15 (+0.01) 61.38 (+0.00) 60.47 (-0.01) 183.00 (+0.00)
5e08b3 60.61 (+0.00) 61.22 (+0.01) 60.85 (+0.00) 182.68 (+0.01)
4d291d 60.50 (-0.01) 60.63 (+0.00) 60.59 (-0.00) 181.72 (-0.00)
4d291d 61.13 (+0.01) 60.59 (-0.01) 60.60 (-0.00) 182.32 (-0.00)
bf63f1 60.54 (-0.00) 60.98 (+0.00) 60.81 (-0.01) 182.33 (-0.00)
0a0958 60.63 (-0.01) 60.71 (-0.01) 61.19 (+0.01) 182.54 (-0.01)
aabca5 61.44 (+0.02) 61.34 (+0.00) 60.88 (+0.01) 183.66 (+0.01)
a4be54 60.45 (-0.00) 61.07 (-0.01) 60.25 (-0.01) 181.77 (-0.01)
a3d7ad 60.67 (+0.00) 61.74 (+0.02) 60.69 (-0.01) 183.11 (+0.00)
a3d7ad 60.63 (+0.00) 60.62 (+0.00) 61.32 (+0.01) 182.57 (+0.00)
8ba169 60.49 (-0.00) 60.56 (-0.01) 60.98 (+0.00) 182.03 (-0.00)
e5cc2f 60.52 (-0.00) 60.96 (+0.00) 60.82 (+0.00) 182.31 (+0.00)
c6b56d 60.69 (-0.01) 60.79 (+0.00) 60.81 (-0.01) 182.29 (-0.01)
e067cd 61.10 (+0.01) 60.70 (-0.01) 61.47 (+0.02) 183.27 (+0.01)
bce423 60.57 (-0.01) 61.11 (+0.01) 60.45 (-0.00) 182.13 (-0.00)
bce423 61.39 (+0.02) 60.64 (+0.01) 60.66 (+0.00) 182.69 (+0.01)
c28bfd 60.35 (-0.01) 60.26 (-0.01) 60.36 (-0.00) 180.97 (-0.01)
95bf19 60.73 (+0.00) 60.78 (-0.01) 60.62 (-0.00) 182.14 (-0.00)
95bf19 60.63 (+0.00) 61.19 (+0.01) 60.73 (+0.01) 182.55 (+0.01)
080752 60.42 (-0.02) 60.32 (-0.02) 60.29 (-0.01) 181.03 (-0.02)
23d5e2 61.42 (+0.01) 61.36 (+0.00) 61.01 (-0.00) 183.79 (+0.01)
23d5e2 60.66 (+0.00) 61.12 (-0.00) 61.03 (+0.00) 182.82 (+0.00)
8b710b 60.61 (-0.01) 61.17 (+0.01) 60.87 (+0.01) 182.65 (+0.00)
8c6e60 61.02 (-0.00) 60.62 (-0.00) 60.43 (-0.01) 182.07 (-0.01)
10dae7 61.03 (+0.01) 60.74 (+0.01) 61.33 (+0.02) 183.10 (+0.01)
4c4d3d 60.28 (-0.01) 60.27 (-0.03) 60.28 (-0.01) 180.83 (-0.01)
9f94d0 60.70 (-0.00) 62.15 (+0.02) 60.64 (-0.00) 183.49 (+0.01)
9f94d0 60.76 (+0.00) 60.79 (+0.00) 60.77 (-0.01) 182.32 (-0.00)
9f94d0 60.60 (+0.00) 60.68 (+0.00) 61.29 (+0.00) 182.58 (+0.00)
c700c7 60.58 (+0.00) 60.44 (-0.00) 61.20 (+0.01) 182.22 (+0.00)
42c6dd 60.52 (-0.01) 60.62 (-0.00) 60.74 (+0.00) 181.89 (-0.00)
f6bf7b 61.40 (-0.00) 60.65 (-0.00) 60.54 (-0.01) 182.59 (-0.00)
1137b5 61.41 (+0.01) 60.80 (+0.00) 61.29 (+0.01) 183.51 (+0.01)
1468c6 61.08 (+0.01) 60.62 (+0.00) 60.79 (+0.00) 182.50 (+0.00)
1468c6 60.62 (+0.00) 60.56 (-0.00) 60.51 (-0.01) 181.68 (-0.00)
c01f92 60.57 (-0.01) 60.60 (+0.00) 61.22 (+0.01) 182.39 (-0.00)
7ff591 61.23 (+0.01) 60.53 (-0.00) 60.72 (+0.00) 182.48 (+0.00)
5d4774 60.76 (-0.00) 60.78 (+0.00) 60.69 (-0.00) 182.23 (-0.00)
56d8c2 60.92 (-0.00) 60.65 (-0.01) 60.80 (+0.00) 182.37 (-0.01)
12e6f4 61.08 (+0.01) 61.55 (+0.02) 60.73 (-0.01) 183.36 (+0.01)
12e6f4 60.59 (-0.00) 60.60 (-0.00) 61.24 (+0.00) 182.43 (-0.00)
61194a 60.72 (-0.00) 60.64 (-0.01) 61.12 (+0.01) 182.48 (-0.00)
70ce01 60.73 (-0.00) 61.35 (+0.01) 60.80 (-0.00) 182.89 (-0.00)
c04c20 60.98 (-0.01) 61.01 (+0.01) 61.02 (+0.00) 183.02 (-0.00)
827ee1 61.73 (+0.02) 60.65 (-0.01) 60.88 (+0.00) 183.26 (+0.00)
22ae67 60.80 (-0.00) 61.02 (-0.01) 60.87 (-0.01) 182.69 (-0.01)
0f4458 60.88 (-0.01) 61.64 (+0.01) 61.24 (+0.00) 183.76 (-0.00)
0f4458 61.40 (+0.00) 61.17 (-0.01) 61.23 (-0.01) 183.80 (-0.00)
0f4458 61.23 (+0.00) 61.71 (+0.00) 61.66 (+0.01) 184.60 (+0.00)
b8a566 61.15 (+0.00) 61.68 (-0.01) 61.10 (+0.00) 183.94 (-0.00)
b8a566 61.00 (+0.06) 62.28 (+0.07) 61.08 (+0.06) 184.37 (+0.06)
9747e9 57.48 (-0.04) 58.29 (-0.03) 57.73 (-0.04) 173.50 (-0.04)
b50e07 59.93 (-0.01) 60.15 (-0.00) 59.89 (-0.01) 179.98 (-0.01)
6a57d5 60.64 (+0.00) 60.24 (-0.01) 60.55 (+0.01) 181.43 (+0.00)
c0480f 60.36 (+0.01) 60.76 (+0.01) 60.15 (+0.00) 181.26 (+0.01)
4f443c 59.78 (+0.00) 60.07 (+0.01) 59.95 (+0.00) 179.80 (+0.00)
4f443c 59.57 (-0.02) 59.66 (-0.01) 59.68 (-0.00) 178.92 (-0.01)
788823 60.64 (+0.01) 60.03 (-0.01) 59.93 (-0.01) 180.60 (-0.00)
c21104 60.10 (-0.00) 60.85 (+0.01) 60.26 (-0.01) 181.21 (+0.00)
b9544a 60.18 (-0.00) 60.14 (-0.01) 60.57 (-0.00) 180.89 (-0.01)
33834c 60.36 (+0.00) 60.92 (+0.02) 60.63 (+0.00) 181.91 (+0.01)
521667 60.13 (+0.00) 59.82 (-0.01) 60.47 (+0.01) 180.42 (+0.00)
361648 59.89 (-0.01) 60.18 (-0.02) 59.93 (-0.02) 180.00 (-0.02)
fc0629 60.57 61.72 60.92 183.22

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query10]

platform: rds-postgres

revision Q10/1 Q10/2 Q10/3 total_duration
41aa62 54.08 (-0.01) 54.19 (-0.00) 54.19 (-0.00) 162.46 (-0.00)
7b5489 54.57 (+0.01) 54.19 (-0.01) 54.20 (+0.00) 162.97 (+0.00)
a23b07 53.99 (-0.00) 54.64 (-0.00) 54.16 (-0.00) 162.79 (-0.00)
cc2d00 54.04 (+0.00) 54.69 (+0.01) 54.23 (+0.00) 162.96 (+0.00)
ba9df2 53.99 (-0.01) 54.12 (-0.00) 54.12 (-0.00) 162.24 (-0.00)
a8f354 54.56 (+0.01) 54.28 (+0.00) 54.12 (-0.01) 162.97 (+0.00)
7feb0d 53.94 (+0.00) 54.13 (+0.00) 54.64 (+0.01) 162.71 (+0.01)
982fce 53.86 (+0.00) 54.02 (+0.00) 53.94 (-0.01) 161.82 (-0.00)
1f151d 53.80 (-0.00) 53.98 (-0.00) 54.49 (-0.00) 162.27 (-0.00)
ff1a1a 53.83 (+0.00) 54.02 (+0.00) 54.53 (+0.00) 162.39 (+0.00)
b1477b 53.80 (-0.00) 53.95 (-0.00) 54.44 (-0.00) 162.19 (-0.00)
1b947f 53.81 (+0.00) 53.95 (-0.01) 54.50 (+0.01) 162.26 (+0.00)
a21b55 53.66 (-0.00) 54.32 (+0.01) 53.79 (-0.00) 161.77 (+0.00)
4ba950 53.75 (-0.01) 53.77 (-0.01) 53.83 (-0.01) 161.36 (-0.01)
4e359d 54.05 (+0.00) 54.17 (+0.00) 54.14 (-0.01) 162.36 (-0.00)
3837fc 53.91 (+0.00) 54.04 (-0.01) 54.60 (+0.01) 162.55 (+0.00)
edcf4d 53.79 (-0.00) 54.53 (+0.01) 53.85 (-0.00) 162.17 (+0.00)
411c71 53.80 (-0.00) 53.91 (-0.01) 53.90 (-0.00) 161.61 (-0.01)
854348 53.97 (-0.00) 54.59 (+0.01) 54.05 (+0.00) 162.61 (+0.00)
7ba5c2 54.15 (+0.01) 53.82 (+0.00) 53.96 (-0.01) 161.94 (+0.00)
ebea29 53.65 (-0.00) 53.79 (-0.00) 54.31 (+0.00) 161.76 (-0.00)
22c890 53.90 (-0.00) 53.96 (-0.00) 54.05 (-0.01) 161.91 (-0.00)
f0b2e0 53.97 (-0.00) 54.12 (+0.00) 54.59 (+0.01) 162.67 (+0.00)
dec580 54.08 (+0.00) 54.04 (-0.00) 54.12 (-0.00) 162.25 (-0.00)
dec580 54.05 (+0.00) 54.20 (-0.00) 54.18 (-0.00) 162.43 (-0.00)
b1c2a6 54.03 (+0.00) 54.24 (-0.01) 54.29 (+0.00) 162.56 (-0.00)
931094 53.99 (-0.00) 54.75 (+0.01) 54.05 (-0.00) 162.79 (+0.00)
957acb 54.06 (+0.00) 54.25 (+0.00) 54.19 (+0.00) 162.51 (+0.00)
846532 54.05 (-0.01) 54.22 (+0.00) 54.18 (-0.00) 162.45 (-0.00)
d733bc 54.52 (-0.00) 54.22 (+0.00) 54.22 (-0.00) 162.96 (-0.00)
75ffe3 54.58 (+0.01) 54.21 (-0.01) 54.24 (+0.00) 163.03 (+0.00)
75ffe3 54.02 (+0.00) 54.70 (+0.01) 54.21 (+0.01) 162.93 (+0.01)
bf4623 53.81 (-0.00) 54.01 (-0.00) 53.86 (-0.01) 161.68 (-0.01)
b26c83 53.92 (-0.00) 54.06 (-0.00) 54.57 (+0.01) 162.56 (+0.00)
9d714a 53.97 (+0.00) 54.10 (+0.00) 54.19 (-0.01) 162.26 (-0.00)
6efea4 53.92 (+0.00) 54.10 (+0.00) 54.55 (+0.01) 162.57 (+0.00)
4071ff 53.81 (-0.00) 53.98 (-0.00) 53.98 (-0.00) 161.77 (-0.00)
4071ff 53.98 (-0.00) 54.13 (+0.00) 54.12 (-0.00) 162.24 (-0.00)
870ba4 54.05 (+0.00) 54.11 (-0.00) 54.20 (+0.00) 162.37 (+0.00)
f5ca89 53.94 (-0.00) 54.17 (-0.01) 54.09 (-0.00) 162.20 (-0.00)
8bd565 54.05 (+0.00) 54.75 (+0.01) 54.19 (-0.01) 162.99 (+0.00)
dd22c8 54.05 (-0.00) 54.14 (-0.01) 54.71 (+0.01) 162.90 (-0.00)
299db9 54.05 (-0.01) 54.72 (+0.01) 54.18 (+0.00) 162.95 (+0.00)
93f3f4 54.45 (+0.01) 54.09 (+0.00) 54.07 (+0.00) 162.60 (+0.01)
f6e2e0 53.76 (-0.01) 53.94 (-0.01) 53.97 (-0.00) 161.67 (-0.01)
f6e2e0 54.28 (-0.00) 54.64 (+0.01) 54.20 (+0.00) 163.13 (+0.00)
f6e2e0 54.49 (+0.01) 54.11 (-0.01) 54.11 (-0.00) 162.70 (-0.00)
f1d960 53.98 (-0.01) 54.72 (+0.01) 54.15 (-0.00) 162.86 (-0.00)
4a9279 54.55 (+0.00) 54.20 (+0.00) 54.21 (-0.00) 162.97 (-0.00)
2e4bf7 54.52 (-0.00) 54.18 (+0.00) 54.29 (+0.00) 162.99 (+0.00)
ce8fbb 54.54 (+0.01) 53.96 (-0.00) 54.07 (+0.00) 162.57 (+0.00)
ce8fbb 53.90 (-0.00) 53.97 (-0.01) 53.98 (-0.00) 161.85 (-0.01)
ce8fbb 54.00 (-0.00) 54.76 (+0.01) 54.06 (-0.01) 162.82 (-0.00)
d1a0f2 54.03 (+0.00) 54.21 (+0.00) 54.71 (+0.01) 162.95 (+0.00)
ccf92d 53.96 (-0.00) 54.11 (-0.00) 54.10 (-0.00) 162.17 (-0.00)
02b8e0 54.05 (+0.00) 54.14 (-0.00) 54.16 (-0.00) 162.34 (-0.00)
7b9057 54.01 (-0.01) 54.19 (+0.00) 54.18 (+0.00) 162.39 (-0.00)
9cada8 54.50 (-0.00) 54.19 (-0.00) 54.12 (-0.00) 162.81 (-0.00)
9cada8 54.56 (+0.00) 54.22 (+0.00) 54.16 (-0.00) 162.94 (+0.00)
9cada8 54.51 (+0.01) 54.16 (-0.01) 54.18 (+0.00) 162.84 (-0.00)
a60f68 54.06 (+0.00) 54.74 (+0.01) 54.14 (+0.00) 162.95 (+0.01)
d19c52 53.97 (+0.00) 54.09 (+0.00) 54.07 (-0.00) 162.13 (+0.00)
000eb1 53.91 (-0.00) 54.09 (-0.00) 54.09 (-0.01) 162.08 (-0.01)
000eb1 54.06 (+0.00) 54.22 (-0.01) 54.73 (+0.01) 163.02 (+0.00)
f51b48 54.01 (+0.00) 54.69 (+0.01) 54.17 (-0.01) 162.87 (+0.00)
f51b48 53.97 (-0.00) 54.21 (+0.00) 54.64 (+0.01) 162.82 (+0.00)
f51b48 54.09 (+0.00) 54.13 (+0.00) 54.21 (+0.00) 162.43 (+0.00)
9f906f 53.94 (-0.00) 54.13 (-0.00) 54.06 (-0.00) 162.13 (-0.00)
0692ff 54.12 (+0.00) 54.18 (-0.01) 54.19 (+0.00) 162.50 (-0.00)
2caece 54.01 (-0.01) 54.66 (+0.01) 54.09 (+0.00) 162.76 (+0.00)
bc7d3c 54.44 (+0.01) 53.92 (-0.00) 54.04 (-0.01) 162.41 (-0.00)
2153d2 53.98 (+0.00) 54.00 (-0.00) 54.62 (+0.01) 162.60 (+0.00)
2153d2 53.89 (-0.00) 54.04 (-0.00) 54.00 (-0.01) 161.93 (-0.00)
2153d2 53.96 (-0.00) 54.18 (-0.01) 54.51 (+0.01) 162.66 (-0.00)
a1b062 54.11 (+0.00) 54.70 (+0.01) 54.18 (+0.00) 162.99 (+0.00)
1d9d7c 53.96 (-0.00) 54.11 (-0.00) 54.13 (-0.01) 162.20 (-0.01)
3569c1 54.04 (+0.00) 54.20 (+0.00) 54.79 (+0.01) 163.04 (+0.01)
eaff14 53.98 (-0.00) 54.09 (-0.00) 54.14 (-0.00) 162.20 (-0.00)
f383b4 54.09 (+0.00) 54.23 (+0.00) 54.22 (+0.00) 162.55 (+0.00)
f383b4 53.91 (-0.00) 54.08 (-0.00) 54.06 (-0.00) 162.05 (-0.00)
f383b4 54.04 (-0.01) 54.19 (-0.00) 54.19 (+0.00) 162.43 (-0.00)
a4256b 54.55 (+0.00) 54.23 (+0.00) 54.19 (+0.00) 162.97 (+0.00)
371493 54.47 (+0.01) 54.10 (-0.01) 54.12 (+0.00) 162.70 (+0.00)
c5c143 53.90 (-0.01) 54.60 (+0.01) 54.07 (-0.00) 162.57 (-0.00)
58fa4f 54.51 (+0.01) 54.08 (-0.00) 54.12 (+0.00) 162.71 (+0.00)
121d53 53.91 (-0.00) 54.09 (-0.00) 54.07 (-0.00) 162.07 (-0.00)
121d53 54.05 (+0.00) 54.16 (-0.00) 54.26 (+0.00) 162.47 (+0.00)
ec3a3a 54.03 (+0.00) 54.18 (-0.01) 54.15 (+0.00) 162.37 (-0.00)
96e783 53.98 (-0.00) 54.53 (+0.01) 54.12 (-0.02) 162.63 (-0.00)
567b71 54.02 (+0.00) 54.11 (+0.00) 55.04 (+0.02) 163.17 (+0.01)
847fc5 53.85 (-0.00) 54.02 (-0.00) 54.04 (-0.00) 161.90 (-0.00)
5e08b3 54.01 (-0.01) 54.15 (+0.00) 54.11 (+0.00) 162.27 (-0.00)
4d291d 54.31 (-0.00) 54.06 (-0.00) 53.95 (-0.00) 162.32 (-0.00)
4d291d 54.56 (+0.01) 54.16 (-0.01) 54.17 (+0.00) 162.89 (+0.00)
bf63f1 53.97 (-0.00) 54.63 (+0.01) 54.14 (-0.00) 162.74 (+0.00)
0a0958 54.05 (-0.01) 54.21 (+0.00) 54.15 (+0.00) 162.41 (-0.00)
aabca5 54.44 (+0.01) 54.09 (+0.01) 54.09 (+0.01) 162.61 (+0.01)
a4be54 54.14 (+0.00) 53.69 (-0.01) 53.66 (-0.01) 161.49 (-0.00)
a3d7ad 53.92 (-0.00) 54.05 (-0.00) 54.06 (-0.01) 162.03 (-0.01)
a3d7ad 54.08 (+0.00) 54.11 (+0.00) 54.68 (+0.01) 162.87 (+0.00)
8ba169 54.01 (+0.00) 54.07 (+0.00) 54.11 (+0.00) 162.19 (+0.00)
e5cc2f 53.75 (-0.01) 53.90 (-0.01) 53.93 (-0.01) 161.58 (-0.01)
c6b56d 54.53 (+0.01) 54.24 (+0.01) 54.29 (-0.00) 163.06 (+0.01)
e067cd 53.77 (+0.00) 53.87 (+0.00) 54.45 (+0.01) 162.09 (+0.00)
bce423 53.76 (-0.00) 53.85 (-0.01) 53.82 (-0.01) 161.43 (-0.01)
bce423 54.02 (-0.00) 54.19 (+0.01) 54.23 (+0.01) 162.44 (+0.00)
c28bfd 54.19 (+0.00) 53.80 (-0.01) 53.83 (-0.02) 161.82 (-0.01)
95bf19 53.99 (-0.00) 54.18 (-0.00) 54.68 (+0.01) 162.86 (+0.00)
95bf19 54.05 (-0.00) 54.20 (+0.01) 54.20 (+0.01) 162.46 (+0.01)
080752 54.10 (+0.00) 53.63 (-0.01) 53.83 (-0.02) 161.56 (-0.01)
23d5e2 54.02 (+0.00) 54.18 (+0.00) 54.69 (+0.01) 162.90 (+0.01)
23d5e2 53.92 (-0.00) 54.08 (-0.00) 54.08 (-0.00) 162.07 (-0.00)
8b710b 53.98 (+0.00) 54.17 (+0.00) 54.15 (-0.01) 162.29 (-0.00)
8c6e60 53.91 (+0.00) 54.11 (+0.00) 54.62 (+0.01) 162.65 (+0.00)
10dae7 53.90 (+0.00) 54.06 (-0.00) 54.04 (+0.00) 162.01 (+0.00)
4c4d3d 53.77 (-0.00) 54.30 (+0.00) 53.84 (-0.01) 161.91 (-0.00)
9f94d0 54.03 (-0.00) 54.14 (-0.01) 54.14 (-0.00) 162.31 (-0.00)
9f94d0 54.08 (+0.00) 54.66 (+0.01) 54.21 (-0.00) 162.95 (+0.00)
9f94d0 53.98 (-0.00) 54.18 (+0.01) 54.24 (+0.01) 162.40 (+0.00)
c700c7 54.19 (-0.01) 53.83 (-0.01) 53.73 (-0.01) 161.75 (-0.01)
42c6dd 54.54 (+0.00) 54.20 (+0.00) 54.36 (+0.01) 163.10 (+0.00)
f6bf7b 54.47 (+0.01) 53.97 (-0.01) 54.05 (+0.00) 162.49 (+0.00)
1137b5 53.84 (-0.00) 54.52 (-0.00) 54.03 (-0.00) 162.39 (-0.00)
1468c6 54.01 (+0.00) 54.73 (+0.00) 54.16 (-0.00) 162.90 (+0.00)
1468c6 54.01 (+0.00) 54.67 (+0.01) 54.21 (+0.00) 162.89 (+0.00)
c01f92 54.01 (+0.00) 54.22 (+0.00) 54.11 (+0.00) 162.34 (+0.00)
7ff591 53.98 (-0.01) 53.99 (-0.00) 54.04 (-0.00) 162.02 (-0.01)
5d4774 54.57 (+0.01) 54.24 (-0.01) 54.12 (-0.00) 162.93 (+0.00)
56d8c2 54.06 (+0.01) 54.66 (+0.02) 54.19 (+0.01) 162.91 (+0.01)
12e6f4 53.70 (-0.01) 53.72 (-0.01) 53.77 (-0.01) 161.19 (-0.01)
12e6f4 54.02 (-0.00) 54.20 (-0.01) 54.19 (-0.00) 162.41 (-0.00)
61194a 54.07 (+0.00) 54.62 (+0.01) 54.20 (+0.00) 162.90 (+0.00)
70ce01 54.03 (-0.01) 54.19 (+0.00) 54.14 (-0.00) 162.36 (-0.00)
c04c20 54.57 (+0.01) 54.18 (-0.00) 54.20 (-0.01) 162.95 (-0.00)
827ee1 54.02 (+0.00) 54.36 (+0.00) 54.65 (+0.01) 163.03 (+0.01)
22ae67 53.94 (-0.00) 54.16 (-0.00) 54.05 (-0.00) 162.14 (-0.00)
0f4458 54.09 (+0.00) 54.23 (+0.00) 54.25 (-0.01) 162.56 (-0.00)
0f4458 54.05 (+0.00) 54.22 (-0.00) 54.79 (+0.00) 163.07 (+0.00)
0f4458 53.99 (-0.00) 54.25 (-0.01) 54.67 (+0.01) 162.91 (-0.00)
b8a566 54.04 (+0.00) 54.74 (+0.01) 54.25 (+0.00) 163.03 (+0.00)
b8a566 54.01 (+0.06) 54.18 (+0.06) 54.21 (+0.07) 162.39 (+0.07)
9747e9 50.72 (-0.04) 50.88 (-0.06) 50.74 (-0.05) 152.33 (-0.05)
b50e07 53.10 (-0.01) 54.16 (+0.00) 53.68 (-0.01) 160.94 (-0.01)
6a57d5 53.43 (-0.00) 54.01 (-0.00) 54.48 (+0.01) 161.93 (-0.00)
c0480f 53.60 (+0.01) 54.19 (+0.01) 54.16 (+0.01) 161.96 (+0.01)
4f443c 53.02 (-0.01) 53.59 (-0.00) 53.67 (+0.00) 160.28 (-0.00)
4f443c 53.59 (+0.00) 53.64 (-0.01) 53.63 (-0.02) 160.86 (-0.01)
788823 53.41 (-0.00) 53.94 (-0.00) 54.52 (+0.01) 161.88 (+0.00)
c21104 53.47 (-0.02) 54.03 (+0.00) 53.98 (+0.00) 161.48 (-0.00)
b9544a 54.32 (+0.02) 53.88 (+0.00) 53.75 (-0.00) 161.95 (+0.00)
33834c 53.38 (+0.00) 53.87 (+0.00) 53.93 (+0.00) 161.18 (+0.00)
521667 53.12 (+0.00) 53.70 (+0.00) 53.84 (+0.00) 160.66 (+0.00)
361648 53.03 (-0.01) 53.61 (-0.01) 53.62 (-0.01) 160.25 (-0.01)
fc0629 53.63 54.24 54.18 162.06

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query11]

platform: rds-postgres

revision Q11/1 Q11/2 Q11/3 total_duration
41aa62 54.55 (+0.01) 54.18 (-0.00) 54.20 (+0.00) 162.94 (+0.00)
7b5489 54.02 (-0.00) 54.19 (+0.00) 54.20 (+0.00) 162.40 (+0.00)
a23b07 54.04 (-0.00) 54.13 (-0.00) 54.13 (-0.00) 162.30 (-0.00)
cc2d00 54.05 (-0.00) 54.15 (-0.01) 54.17 (+0.00) 162.37 (-0.00)
ba9df2 54.05 (+0.00) 54.56 (+0.01) 54.13 (+0.00) 162.75 (+0.00)
a8f354 54.03 (+0.00) 54.27 (+0.00) 54.12 (+0.00) 162.42 (+0.00)
7feb0d 53.97 (+0.00) 54.04 (+0.00) 54.11 (-0.01) 162.13 (-0.00)
982fce 53.89 (+0.00) 53.94 (-0.00) 54.52 (+0.01) 162.35 (+0.00)
1f151d 53.81 (-0.00) 53.96 (-0.00) 53.91 (-0.00) 161.68 (-0.00)
ff1a1a 53.84 (+0.00) 53.98 (+0.00) 53.99 (+0.00) 161.81 (+0.00)
b1477b 53.80 (-0.00) 53.86 (-0.00) 53.93 (-0.00) 161.59 (-0.00)
1b947f 53.84 (+0.00) 53.94 (+0.00) 53.94 (+0.00) 161.73 (+0.00)
a21b55 53.67 (-0.00) 53.79 (+0.00) 53.80 (-0.01) 161.26 (-0.00)
4ba950 53.67 (-0.01) 53.78 (-0.01) 54.29 (-0.01) 161.74 (-0.01)
4e359d 54.00 (+0.00) 54.13 (+0.00) 54.64 (+0.01) 162.77 (+0.01)
3837fc 53.87 (+0.00) 54.00 (+0.00) 53.99 (+0.00) 161.87 (+0.00)
edcf4d 53.76 (+0.00) 53.88 (-0.00) 53.89 (-0.01) 161.52 (-0.00)
411c71 53.76 (-0.00) 53.93 (-0.00) 54.39 (+0.01) 162.07 (-0.00)
854348 53.95 (+0.01) 54.09 (+0.01) 54.06 (+0.01) 162.10 (+0.01)
7ba5c2 53.68 (+0.00) 53.70 (-0.00) 53.78 (+0.00) 161.16 (-0.00)
ebea29 53.65 (-0.00) 53.79 (-0.01) 53.76 (-0.00) 161.21 (-0.01)
22c890 53.83 (-0.00) 54.52 (+0.01) 53.97 (-0.00) 162.32 (+0.00)
f0b2e0 53.93 (-0.01) 54.06 (-0.00) 54.09 (-0.00) 162.08 (-0.00)
dec580 54.49 (-0.00) 54.11 (-0.00) 54.12 (-0.00) 162.72 (-0.00)
dec580 54.58 (+0.00) 54.13 (-0.00) 54.19 (-0.00) 162.90 (-0.00)
b1c2a6 54.57 (+0.01) 54.15 (-0.00) 54.19 (+0.00) 162.92 (+0.00)
931094 54.00 (-0.00) 54.21 (-0.01) 54.07 (-0.00) 162.29 (-0.00)
957acb 54.07 (-0.00) 54.72 (+0.00) 54.18 (+0.00) 162.96 (+0.00)
846532 54.11 (+0.00) 54.71 (+0.01) 54.10 (-0.01) 162.92 (-0.00)
d733bc 54.04 (-0.00) 54.19 (-0.00) 54.68 (+0.00) 162.92 (-0.00)
75ffe3 54.07 (+0.00) 54.29 (+0.00) 54.65 (+0.01) 163.02 (+0.00)
75ffe3 54.02 (-0.01) 54.13 (+0.00) 54.16 (+0.00) 162.31 (+0.00)
bf4623 54.33 (+0.01) 53.95 (-0.00) 53.92 (-0.00) 162.20 (+0.00)
b26c83 53.93 (-0.00) 54.08 (-0.00) 54.06 (-0.01) 162.08 (-0.00)
9d714a 53.95 (+0.00) 54.15 (+0.00) 54.56 (+0.01) 162.67 (+0.00)
6efea4 53.95 (+0.00) 54.09 (-0.01) 54.07 (+0.00) 162.11 (-0.00)
4071ff 53.81 (-0.01) 54.48 (+0.01) 53.97 (-0.00) 162.27 (-0.00)
4071ff 54.52 (+0.01) 54.15 (-0.01) 54.20 (+0.00) 162.87 (+0.00)
870ba4 54.02 (-0.00) 54.67 (+0.00) 54.16 (+0.00) 162.85 (+0.00)
f5ca89 54.05 (-0.00) 54.56 (+0.01) 54.10 (-0.00) 162.71 (+0.00)
8bd565 54.05 (+0.00) 54.21 (+0.00) 54.20 (+0.00) 162.46 (+0.00)
dd22c8 54.01 (-0.00) 54.16 (+0.00) 54.17 (-0.00) 162.34 (-0.00)
299db9 54.12 (+0.00) 54.12 (+0.00) 54.20 (+0.00) 162.45 (+0.00)
93f3f4 53.93 (+0.00) 54.07 (+0.00) 54.07 (-0.01) 162.07 (-0.00)
f6e2e0 53.77 (-0.01) 53.91 (-0.00) 54.43 (+0.00) 162.11 (-0.00)
f6e2e0 54.06 (+0.00) 54.17 (+0.00) 54.20 (+0.00) 162.44 (+0.00)
f6e2e0 53.97 (-0.00) 54.10 (-0.00) 54.14 (+0.00) 162.21 (-0.00)
f1d960 53.98 (-0.00) 54.16 (-0.00) 54.14 (-0.00) 162.28 (-0.00)
4a9279 54.03 (+0.00) 54.19 (+0.00) 54.19 (+0.00) 162.41 (+0.00)
2e4bf7 53.99 (+0.00) 54.16 (+0.00) 54.14 (+0.00) 162.29 (+0.00)
ce8fbb 53.89 (+0.00) 54.05 (+0.00) 54.04 (-0.01) 161.97 (-0.00)
ce8fbb 53.84 (-0.00) 53.98 (-0.00) 54.47 (+0.01) 162.30 (+0.00)
ce8fbb 54.00 (-0.00) 54.16 (-0.00) 54.14 (-0.00) 162.30 (-0.00)
d1a0f2 54.02 (+0.00) 54.16 (-0.01) 54.21 (+0.00) 162.40 (-0.00)
ccf92d 53.93 (-0.00) 54.63 (-0.00) 54.12 (+0.00) 162.69 (-0.00)
02b8e0 54.00 (-0.00) 54.78 (+0.01) 54.09 (-0.01) 162.86 (-0.00)
7b9057 54.05 (+0.00) 54.16 (-0.00) 54.71 (+0.01) 162.92 (+0.00)
9cada8 54.00 (-0.00) 54.17 (-0.00) 54.14 (-0.00) 162.31 (-0.00)
9cada8 54.03 (+0.00) 54.20 (+0.00) 54.16 (-0.01) 162.39 (-0.00)
9cada8 53.98 (-0.00) 54.20 (+0.00) 54.66 (+0.01) 162.84 (+0.00)
a60f68 54.08 (+0.00) 54.16 (-0.01) 54.16 (+0.00) 162.40 (-0.00)
d19c52 54.00 (+0.00) 54.54 (+0.01) 54.09 (-0.01) 162.63 (+0.00)
000eb1 53.93 (-0.00) 54.01 (-0.00) 54.55 (+0.01) 162.49 (+0.00)
000eb1 54.07 (-0.00) 54.22 (+0.00) 54.20 (+0.00) 162.49 (+0.00)
f51b48 54.09 (+0.00) 54.13 (-0.00) 54.15 (-0.00) 162.37 (+0.00)
f51b48 53.98 (-0.01) 54.13 (+0.00) 54.15 (-0.00) 162.27 (-0.00)
f51b48 54.60 (+0.01) 54.13 (-0.01) 54.21 (+0.00) 162.94 (+0.00)
9f906f 53.91 (-0.00) 54.62 (-0.00) 54.11 (-0.00) 162.64 (-0.00)
0692ff 54.08 (+0.00) 54.76 (+0.01) 54.15 (+0.00) 163.00 (+0.00)
2caece 53.94 (+0.00) 54.13 (+0.00) 54.12 (+0.00) 162.20 (+0.00)
bc7d3c 53.81 (-0.00) 53.96 (-0.00) 53.95 (-0.00) 161.72 (-0.00)
2153d2 53.93 (-0.01) 54.05 (+0.00) 54.04 (+0.00) 162.02 (-0.00)
2153d2 54.38 (+0.01) 54.05 (+0.00) 54.04 (-0.00) 162.46 (+0.00)
2153d2 53.97 (-0.00) 54.00 (-0.00) 54.06 (-0.00) 162.03 (-0.00)
a1b062 54.05 (+0.00) 54.21 (-0.01) 54.17 (+0.00) 162.43 (-0.00)
1d9d7c 53.97 (-0.00) 54.61 (+0.01) 54.16 (+0.00) 162.73 (+0.00)
3569c1 54.11 (+0.00) 54.17 (-0.01) 54.15 (+0.00) 162.43 (-0.00)
eaff14 53.94 (-0.00) 54.60 (-0.00) 54.09 (-0.00) 162.64 (-0.00)
f383b4 54.07 (+0.00) 54.77 (+0.00) 54.20 (+0.00) 163.04 (+0.00)
f383b4 53.91 (-0.00) 54.57 (+0.01) 54.06 (-0.01) 162.54 (-0.00)
f383b4 54.05 (-0.00) 54.18 (+0.00) 54.70 (+0.01) 162.93 (+0.00)
a4256b 54.15 (+0.00) 54.10 (+0.00) 54.18 (-0.01) 162.42 (-0.00)
371493 53.95 (+0.00) 54.09 (+0.00) 54.59 (+0.01) 162.63 (+0.00)
c5c143 53.89 (-0.00) 54.06 (+0.00) 54.04 (-0.01) 162.00 (-0.00)
58fa4f 54.11 (+0.00) 54.05 (-0.01) 54.59 (+0.01) 162.75 (+0.00)
121d53 53.89 (-0.00) 54.60 (-0.00) 53.96 (-0.00) 162.45 (-0.00)
121d53 54.01 (-0.01) 54.70 (+0.01) 54.17 (+0.00) 162.88 (+0.00)
ec3a3a 54.52 (+0.01) 54.13 (+0.00) 54.12 (+0.00) 162.77 (+0.00)
96e783 53.95 (-0.00) 53.98 (-0.00) 54.04 (-0.00) 161.97 (-0.00)
567b71 53.99 (-0.01) 54.11 (+0.00) 54.09 (+0.00) 162.19 (-0.00)
847fc5 54.38 (-0.00) 53.98 (-0.00) 53.98 (-0.00) 162.33 (-0.00)
5e08b3 54.53 (+0.01) 54.19 (+0.00) 54.08 (-0.01) 162.79 (+0.00)
4d291d 53.82 (-0.00) 53.97 (-0.00) 54.42 (-0.00) 162.21 (-0.00)
4d291d 54.05 (+0.00) 54.16 (+0.00) 54.69 (+0.01) 162.90 (+0.00)
bf63f1 53.99 (-0.00) 54.11 (-0.00) 54.21 (-0.01) 162.31 (-0.00)
0a0958 54.02 (+0.00) 54.15 (+0.00) 54.68 (+0.01) 162.85 (+0.01)
aabca5 53.89 (+0.01) 54.10 (+0.01) 54.01 (-0.00) 162.00 (+0.00)
a4be54 53.53 (-0.01) 53.68 (-0.02) 54.22 (+0.00) 161.44 (-0.01)
a3d7ad 53.90 (-0.00) 54.64 (+0.01) 54.09 (-0.00) 162.63 (+0.00)
a3d7ad 54.01 (+0.00) 54.20 (-0.01) 54.15 (+0.00) 162.36 (-0.00)
8ba169 53.99 (+0.00) 54.61 (+0.00) 54.13 (+0.01) 162.74 (+0.00)
e5cc2f 53.74 (-0.01) 54.42 (+0.00) 53.86 (-0.01) 162.02 (-0.00)
c6b56d 54.01 (+0.00) 54.22 (+0.01) 54.15 (+0.01) 162.38 (+0.01)
e067cd 53.77 (-0.01) 53.90 (+0.00) 53.87 (+0.00) 161.54 (-0.00)
bce423 54.19 (-0.01) 53.84 (-0.01) 53.84 (-0.01) 161.88 (-0.01)
bce423 54.58 (+0.02) 54.20 (+0.01) 54.19 (-0.00) 162.97 (+0.01)
c28bfd 53.65 (-0.01) 53.83 (-0.01) 54.30 (+0.00) 161.78 (-0.00)
95bf19 54.03 (-0.01) 54.15 (-0.00) 54.18 (+0.00) 162.36 (-0.00)
95bf19 54.53 (+0.02) 54.19 (+0.01) 54.17 (+0.00) 162.88 (+0.01)
080752 53.55 (-0.01) 53.69 (-0.01) 54.17 (+0.00) 161.41 (-0.01)
23d5e2 54.05 (+0.00) 54.22 (-0.01) 54.17 (+0.00) 162.44 (-0.00)
23d5e2 53.92 (-0.01) 54.55 (+0.01) 54.04 (-0.00) 162.52 (-0.00)
8b710b 54.52 (+0.01) 54.16 (+0.00) 54.14 (+0.00) 162.83 (+0.00)
8c6e60 54.10 (+0.00) 53.98 (-0.01) 54.09 (+0.00) 162.16 (-0.00)
10dae7 53.95 (+0.01) 54.50 (+0.01) 54.06 (+0.00) 162.51 (+0.01)
4c4d3d 53.68 (-0.02) 53.84 (-0.01) 53.84 (-0.01) 161.35 (-0.01)
9f94d0 54.50 (+0.01) 54.13 (-0.00) 54.13 (-0.00) 162.77 (+0.00)
9f94d0 54.06 (+0.00) 54.17 (-0.00) 54.15 (-0.01) 162.38 (-0.00)
9f94d0 54.02 (+0.01) 54.18 (+0.01) 54.65 (+0.02) 162.86 (+0.01)
c700c7 53.63 (-0.01) 53.79 (-0.01) 53.79 (-0.02) 161.21 (-0.01)
42c6dd 54.03 (+0.00) 54.19 (+0.00) 54.66 (+0.01) 162.88 (+0.01)
f6bf7b 53.89 (+0.00) 54.03 (+0.00) 54.05 (+0.00) 161.96 (+0.00)
1137b5 53.85 (-0.01) 54.00 (-0.00) 54.01 (-0.00) 161.86 (-0.00)
1468c6 54.18 (+0.00) 54.13 (-0.00) 54.14 (-0.00) 162.45 (+0.00)
1468c6 54.00 (-0.00) 54.15 (-0.00) 54.14 (-0.01) 162.29 (-0.00)
c01f92 54.04 (-0.01) 54.19 (+0.00) 54.70 (+0.01) 162.94 (+0.00)
7ff591 54.43 (+0.01) 54.03 (-0.00) 54.09 (-0.00) 162.55 (+0.00)
5d4774 54.01 (+0.00) 54.17 (+0.00) 54.21 (+0.00) 162.39 (+0.00)
56d8c2 53.99 (+0.01) 54.14 (-0.00) 54.17 (+0.01) 162.31 (+0.00)
12e6f4 53.62 (-0.01) 54.28 (+0.00) 53.81 (-0.02) 161.71 (-0.01)
12e6f4 54.00 (-0.00) 54.22 (+0.00) 54.63 (+0.01) 162.86 (+0.00)
61194a 54.01 (-0.01) 54.19 (+0.00) 54.19 (+0.00) 162.38 (-0.00)
70ce01 54.53 (+0.01) 54.16 (-0.00) 54.13 (-0.00) 162.82 (+0.00)
c04c20 54.02 (-0.00) 54.19 (+0.00) 54.16 (-0.00) 162.37 (-0.00)
827ee1 54.04 (+0.00) 54.17 (-0.01) 54.18 (+0.00) 162.39 (-0.00)
22ae67 53.94 (-0.00) 54.61 (-0.00) 54.09 (-0.00) 162.64 (-0.00)
0f4458 54.06 (+0.00) 54.73 (+0.01) 54.19 (+0.00) 162.99 (+0.00)
0f4458 54.03 (-0.00) 54.20 (+0.00) 54.18 (-0.00) 162.42 (+0.00)
0f4458 54.04 (-0.00) 54.20 (-0.00) 54.18 (-0.00) 162.42 (-0.00)
b8a566 54.08 (-0.01) 54.23 (+0.00) 54.23 (+0.00) 162.53 (-0.00)
b8a566 54.55 (+0.08) 54.18 (+0.06) 54.15 (+0.07) 162.88 (+0.07)
9747e9 50.72 (-0.05) 51.26 (-0.04) 50.76 (-0.05) 152.74 (-0.05)
b50e07 53.48 (-0.01) 53.66 (-0.01) 53.64 (-0.01) 160.78 (-0.01)
6a57d5 53.80 (-0.01) 54.10 (-0.00) 53.92 (-0.00) 161.81 (-0.01)
c0480f 54.48 (+0.01) 54.15 (+0.01) 54.16 (+0.01) 162.80 (+0.01)
4f443c 53.87 (+0.01) 53.54 (-0.00) 53.57 (-0.01) 160.98 (-0.00)
4f443c 53.43 (-0.01) 53.61 (-0.01) 54.18 (+0.00) 161.21 (-0.00)
788823 53.80 (-0.01) 53.98 (-0.00) 53.94 (-0.00) 161.71 (-0.00)
c21104 54.37 (+0.01) 54.04 (+0.00) 54.09 (-0.00) 162.50 (+0.01)
b9544a 53.62 (-0.01) 53.80 (-0.00) 54.27 (+0.01) 161.69 (-0.00)
33834c 54.23 (+0.02) 53.92 (-0.01) 53.91 (+0.00) 162.06 (+0.00)
521667 53.41 (-0.01) 54.20 (+0.01) 53.67 (+0.00) 161.28 (+0.00)
361648 53.96 (-0.00) 53.59 (-0.01) 53.58 (-0.02) 161.14 (-0.01)
fc0629 54.07 54.27 54.64 162.99

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query12]

platform: rds-postgres

revision Q12/1 Q12/2 Q12/3 total_duration
41aa62 63.10 (-0.00) 63.01 (+0.00) 63.52 (+0.01) 189.64 (+0.01)
7b5489 63.10 (+0.01) 62.72 (-0.01) 62.80 (-0.01) 188.62 (-0.00)
a23b07 62.68 (-0.01) 63.54 (+0.01) 63.12 (+0.01) 189.34 (+0.00)
cc2d00 63.24 (+0.01) 62.87 (+0.00) 62.77 (+0.00) 188.87 (+0.01)
ba9df2 62.69 (-0.01) 62.62 (-0.00) 62.51 (-0.00) 187.83 (-0.00)
a8f354 63.13 (+0.01) 62.64 (-0.01) 62.57 (-0.00) 188.34 (-0.00)
7feb0d 62.65 (+0.00) 63.40 (+0.01) 62.77 (+0.00) 188.81 (+0.01)
982fce 62.48 (-0.01) 62.53 (-0.01) 62.70 (+0.00) 187.71 (-0.01)
1f151d 62.88 (+0.00) 63.13 (+0.00) 62.64 (+0.00) 188.66 (+0.00)
ff1a1a 62.60 (+0.00) 63.03 (+0.00) 62.62 (+0.00) 188.25 (+0.00)
b1477b 62.44 (-0.00) 62.99 (-0.00) 62.39 (-0.01) 187.83 (-0.00)
1b947f 62.50 (-0.01) 63.24 (+0.01) 62.73 (+0.00) 188.46 (-0.00)
a21b55 63.17 (+0.01) 62.83 (+0.01) 62.54 (+0.00) 188.55 (+0.01)
4ba950 62.42 (-0.01) 62.44 (-0.01) 62.53 (-0.01) 187.40 (-0.01)
4e359d 63.01 (+0.01) 63.11 (-0.00) 63.26 (+0.01) 189.38 (+0.00)
3837fc 62.67 (+0.00) 63.13 (+0.01) 62.73 (-0.00) 188.52 (+0.00)
edcf4d 62.65 (+0.00) 62.67 (+0.00) 62.73 (+0.00) 188.06 (+0.00)
411c71 62.54 (-0.01) 62.65 (+0.00) 62.70 (+0.00) 187.89 (-0.00)
854348 63.18 (+0.00) 62.62 (+0.01) 62.61 (+0.00) 188.41 (+0.00)
7ba5c2 63.03 (+0.01) 62.23 (+0.00) 62.42 (+0.00) 187.69 (+0.01)
ebea29 62.31 (-0.00) 62.19 (-0.00) 62.24 (-0.00) 186.74 (-0.00)
22c890 62.32 (+0.00) 62.36 (-0.01) 62.29 (-0.00) 186.98 (-0.00)
f0b2e0 62.25 (-0.00) 62.87 (+0.00) 62.43 (-0.02) 187.55 (-0.01)
dec580 62.50 (-0.00) 62.64 (+0.00) 63.52 (+0.01) 188.66 (+0.00)
dec580 62.55 (+0.00) 62.41 (-0.00) 62.87 (-0.01) 187.82 (-0.00)
b1c2a6 62.48 (+0.00) 62.52 (-0.01) 63.24 (+0.01) 188.24 (+0.00)
931094 62.34 (-0.00) 63.12 (+0.01) 62.38 (+0.00) 187.84 (+0.00)
957acb 62.36 (-0.00) 62.56 (-0.00) 62.35 (-0.01) 187.27 (-0.00)
846532 62.59 (-0.00) 62.65 (+0.00) 62.75 (-0.00) 187.99 (-0.00)
d733bc 62.76 (+0.01) 62.55 (-0.00) 62.76 (-0.00) 188.07 (-0.00)
75ffe3 62.37 (-0.01) 62.83 (+0.00) 62.88 (+0.00) 188.09 (-0.00)
75ffe3 62.90 (+0.01) 62.77 (+0.01) 62.68 (-0.00) 188.36 (+0.00)
bf4623 62.24 (+0.00) 62.40 (-0.01) 62.89 (+0.00) 187.53 (-0.00)
b26c83 62.12 (-0.01) 63.25 (+0.01) 62.69 (+0.00) 188.06 (+0.00)
9d714a 62.57 (+0.00) 62.69 (-0.00) 62.48 (-0.00) 187.74 (-0.00)
6efea4 62.38 (-0.00) 62.80 (+0.01) 62.66 (+0.00) 187.85 (+0.00)
4071ff 62.40 (-0.00) 62.34 (-0.00) 62.47 (-0.01) 187.21 (-0.00)
4071ff 62.56 (+0.00) 62.59 (+0.00) 62.99 (+0.01) 188.14 (+0.00)
870ba4 62.52 (-0.00) 62.49 (-0.00) 62.60 (+0.00) 187.61 (-0.00)
f5ca89 62.59 (-0.00) 62.65 (+0.00) 62.60 (-0.00) 187.83 (-0.00)
8bd565 62.89 (+0.00) 62.56 (-0.01) 62.61 (+0.00) 188.07 (-0.00)
dd22c8 62.64 (-0.01) 63.21 (+0.01) 62.50 (-0.00) 188.35 (-0.00)
299db9 63.08 (+0.00) 62.74 (+0.00) 62.56 (+0.00) 188.38 (+0.00)
93f3f4 62.80 (+0.00) 62.62 (+0.00) 62.55 (+0.00) 187.97 (+0.00)
f6e2e0 62.54 (-0.01) 62.48 (-0.00) 62.28 (-0.01) 187.30 (-0.01)
f6e2e0 62.95 (-0.00) 62.64 (+0.00) 62.68 (+0.00) 188.28 (+0.00)
f6e2e0 62.95 (-0.00) 62.48 (-0.00) 62.60 (+0.00) 188.04 (-0.00)
f1d960 63.21 (+0.00) 62.53 (-0.00) 62.55 (-0.00) 188.29 (-0.00)
4a9279 63.14 (+0.00) 62.64 (-0.01) 62.60 (+0.00) 188.38 (-0.00)
2e4bf7 63.03 (+0.00) 62.97 (+0.01) 62.57 (+0.00) 188.58 (+0.00)
ce8fbb 62.87 (+0.01) 62.43 (-0.00) 62.46 (+0.00) 187.76 (+0.00)
ce8fbb 62.17 (-0.02) 62.45 (-0.00) 62.22 (-0.01) 186.84 (-0.01)
ce8fbb 63.23 (+0.01) 62.54 (-0.02) 62.82 (-0.00) 188.59 (-0.00)
d1a0f2 62.59 (+0.00) 63.63 (+0.02) 62.95 (+0.00) 189.17 (+0.01)
ccf92d 62.53 (+0.00) 62.62 (-0.00) 62.79 (+0.00) 187.94 (+0.00)
02b8e0 62.52 (+0.00) 62.66 (+0.00) 62.70 (+0.00) 187.89 (+0.00)
7b9057 62.51 (-0.01) 62.46 (-0.00) 62.65 (+0.00) 187.63 (-0.00)
9cada8 62.91 (-0.00) 62.53 (+0.00) 62.56 (-0.00) 188.00 (-0.00)
9cada8 62.99 (+0.01) 62.47 (+0.00) 62.76 (+0.01) 188.23 (+0.01)
9cada8 62.35 (-0.00) 62.33 (-0.01) 62.23 (-0.01) 186.91 (-0.01)
a60f68 62.41 (-0.00) 63.15 (+0.01) 62.62 (+0.01) 188.18 (+0.01)
d19c52 62.61 (-0.00) 62.36 (-0.00) 62.25 (-0.00) 187.23 (-0.00)
000eb1 62.71 (+0.00) 62.53 (-0.01) 62.34 (-0.00) 187.59 (-0.00)
000eb1 62.43 (-0.00) 62.96 (+0.01) 62.38 (-0.01) 187.76 (+0.00)
f51b48 62.59 (+0.00) 62.25 (-0.01) 62.87 (+0.01) 187.71 (-0.00)
f51b48 62.28 (-0.00) 63.02 (+0.01) 62.47 (-0.01) 187.78 (+0.00)
f51b48 62.47 (+0.00) 62.27 (-0.00) 62.85 (+0.01) 187.59 (+0.00)
9f906f 62.34 (-0.00) 62.41 (-0.00) 62.34 (-0.00) 187.10 (-0.00)
0692ff 62.63 (+0.00) 62.49 (-0.01) 62.50 (-0.00) 187.62 (-0.00)
2caece 62.46 (-0.02) 63.01 (+0.01) 62.71 (+0.01) 188.19 (+0.00)
bc7d3c 63.54 (+0.02) 62.24 (+0.00) 62.38 (-0.01) 188.15 (+0.00)
2153d2 62.23 (-0.00) 62.22 (-0.00) 62.87 (+0.01) 187.32 (+0.00)
2153d2 62.23 (+0.00) 62.28 (-0.01) 62.08 (-0.01) 186.60 (-0.01)
2153d2 62.22 (-0.01) 62.73 (+0.00) 62.59 (-0.00) 187.55 (-0.00)
a1b062 63.00 (+0.01) 62.43 (-0.00) 62.69 (+0.01) 188.12 (+0.00)
1d9d7c 62.32 (-0.00) 62.67 (-0.01) 62.26 (-0.00) 187.25 (-0.01)
3569c1 62.57 (+0.01) 63.32 (+0.02) 62.47 (+0.00) 188.37 (+0.01)
eaff14 62.20 (-0.00) 62.27 (-0.00) 62.24 (-0.00) 186.72 (-0.00)
f383b4 62.43 (+0.00) 62.32 (-0.00) 62.40 (+0.01) 187.16 (+0.00)
f383b4 62.23 (+0.00) 62.34 (+0.00) 61.99 (-0.00) 186.56 (+0.00)
f383b4 62.17 (-0.01) 62.12 (-0.00) 62.10 (-0.00) 186.39 (-0.01)
a4256b 62.91 (+0.01) 62.34 (-0.00) 62.25 (-0.00) 187.50 (+0.00)
371493 62.29 (-0.01) 62.37 (+0.00) 62.39 (+0.00) 187.06 (-0.00)
c5c143 63.06 (+0.01) 62.34 (-0.00) 62.39 (+0.00) 187.78 (+0.00)
58fa4f 62.42 (+0.00) 62.41 (+0.00) 62.35 (+0.00) 187.18 (+0.00)
121d53 62.17 (-0.00) 62.15 (-0.00) 62.13 (-0.00) 186.45 (-0.00)
121d53 62.33 (+0.00) 62.36 (+0.00) 62.32 (-0.01) 187.01 (-0.00)
ec3a3a 62.18 (-0.01) 62.26 (+0.00) 62.81 (+0.01) 187.25 (-0.00)
96e783 62.89 (+0.01) 62.23 (-0.00) 62.14 (-0.00) 187.27 (+0.00)
567b71 62.14 (-0.00) 62.33 (-0.01) 62.41 (-0.01) 186.89 (-0.01)
847fc5 62.26 (-0.00) 63.06 (+0.01) 62.81 (-0.00) 188.13 (+0.00)
5e08b3 62.35 (+0.00) 62.48 (+0.00) 63.12 (+0.01) 187.95 (+0.00)
4d291d 62.29 (-0.00) 62.45 (+0.00) 62.33 (+0.00) 187.07 (+0.00)
4d291d 62.36 (+0.00) 62.36 (-0.01) 62.23 (-0.00) 186.95 (-0.00)
bf63f1 62.21 (+0.00) 62.92 (+0.01) 62.40 (+0.00) 187.53 (+0.01)
0a0958 62.11 (-0.01) 62.20 (+0.00) 62.14 (+0.00) 186.44 (-0.00)
aabca5 62.65 (+0.01) 62.19 (+0.00) 62.06 (+0.00) 186.91 (+0.01)
a4be54 61.88 (-0.00) 61.98 (-0.00) 61.99 (-0.00) 185.85 (-0.00)
a3d7ad 62.11 (-0.00) 62.24 (-0.01) 62.18 (-0.00) 186.53 (-0.00)
a3d7ad 62.32 (+0.00) 62.85 (+0.01) 62.21 (-0.00) 187.38 (+0.00)
8ba169 62.32 (+0.01) 62.35 (+0.00) 62.25 (+0.01) 186.93 (+0.00)
e5cc2f 62.00 (-0.02) 62.11 (-0.01) 61.91 (-0.01) 186.03 (-0.01)
c6b56d 62.99 (+0.01) 62.64 (-0.00) 62.67 (+0.01) 188.30 (+0.01)
e067cd 62.22 (+0.00) 62.72 (+0.01) 62.17 (-0.01) 187.11 (+0.00)
bce423 62.04 (-0.00) 62.24 (-0.00) 62.71 (-0.00) 186.99 (-0.00)
bce423 62.11 (+0.00) 62.37 (+0.01) 62.87 (+0.02) 187.35 (+0.01)
c28bfd 62.03 (-0.01) 62.05 (-0.02) 61.83 (-0.01) 185.92 (-0.01)
95bf19 62.70 (+0.00) 63.22 (+0.01) 62.48 (-0.01) 188.40 (-0.00)
95bf19 62.63 (+0.01) 62.77 (+0.01) 63.07 (+0.02) 188.47 (+0.02)
080752 61.72 (-0.01) 61.90 (-0.01) 61.93 (-0.02) 185.56 (-0.01)
23d5e2 62.52 (+0.01) 62.62 (+0.01) 62.88 (+0.01) 188.02 (+0.01)
23d5e2 62.15 (-0.00) 62.18 (-0.00) 62.07 (-0.01) 186.41 (-0.01)
8b710b 62.22 (-0.00) 62.47 (+0.01) 62.88 (-0.00) 187.57 (+0.00)
8c6e60 62.27 (+0.00) 62.14 (-0.00) 62.94 (+0.01) 187.35 (+0.00)
10dae7 62.20 (+0.00) 62.25 (-0.01) 62.34 (+0.01) 186.80 (-0.00)
4c4d3d 62.17 (-0.01) 62.72 (+0.01) 62.01 (-0.01) 186.90 (-0.00)
9f94d0 62.59 (+0.00) 62.35 (+0.00) 62.56 (+0.00) 187.51 (+0.00)
9f94d0 62.51 (+0.01) 62.26 (-0.00) 62.38 (-0.00) 187.15 (+0.00)
9f94d0 62.19 (-0.00) 62.51 (+0.01) 62.41 (+0.01) 187.11 (+0.00)
c700c7 62.42 (-0.00) 61.86 (-0.01) 62.09 (-0.01) 186.37 (-0.01)
42c6dd 62.56 (+0.00) 62.37 (+0.00) 62.44 (+0.00) 187.38 (+0.00)
f6bf7b 62.52 (+0.00) 62.34 (+0.00) 62.21 (+0.00) 187.07 (+0.00)
1137b5 62.26 (-0.01) 62.14 (-0.00) 62.07 (-0.00) 186.47 (-0.00)
1468c6 62.70 (-0.00) 62.38 (+0.00) 62.33 (-0.00) 187.41 (-0.00)
1468c6 62.94 (+0.01) 62.29 (+0.00) 62.61 (+0.00) 187.83 (+0.01)
c01f92 62.02 (-0.00) 62.15 (-0.01) 62.37 (-0.01) 186.55 (-0.01)
7ff591 62.06 (-0.01) 62.48 (+0.00) 63.03 (+0.01) 187.56 (+0.00)
5d4774 62.79 (-0.00) 62.39 (-0.00) 62.28 (-0.00) 187.46 (-0.00)
56d8c2 62.96 (+0.02) 62.62 (+0.00) 62.35 (+0.00) 187.93 (+0.01)
12e6f4 61.88 (-0.01) 62.33 (-0.00) 62.20 (-0.00) 186.41 (-0.00)
12e6f4 62.25 (-0.01) 62.45 (-0.00) 62.46 (+0.00) 187.16 (-0.00)
61194a 62.88 (+0.01) 62.64 (+0.00) 62.37 (-0.00) 187.89 (+0.00)
70ce01 62.16 (-0.02) 62.39 (-0.00) 62.44 (+0.00) 186.98 (-0.01)
c04c20 63.14 (+0.01) 62.70 (+0.00) 62.33 (-0.01) 188.17 (+0.00)
827ee1 62.38 (-0.00) 62.43 (-0.00) 63.06 (+0.01) 187.88 (+0.00)
22ae67 62.44 (-0.00) 62.60 (+0.00) 62.43 (-0.00) 187.48 (+0.00)
0f4458 62.45 (-0.00) 62.52 (-0.01) 62.46 (-0.00) 187.44 (-0.00)
0f4458 62.50 (+0.00) 63.12 (+0.01) 62.48 (-0.01) 188.10 (+0.00)
0f4458 62.25 (-0.02) 62.45 (-0.00) 62.87 (+0.01) 187.57 (-0.00)
b8a566 63.21 (+0.02) 62.59 (+0.00) 62.47 (+0.00) 188.27 (+0.01)
b8a566 62.24 (+0.06) 62.54 (+0.06) 62.46 (+0.06) 187.24 (+0.06)
9747e9 58.73 (-0.05) 58.98 (-0.05) 58.95 (-0.04) 176.66 (-0.05)
b50e07 61.62 (-0.00) 62.06 (-0.00) 61.36 (-0.01) 185.04 (-0.01)
6a57d5 61.90 (-0.01) 62.30 (+0.01) 61.93 (-0.01) 186.14 (-0.00)
c0480f 62.35 (+0.01) 61.81 (+0.01) 62.47 (+0.01) 186.64 (+0.01)
4f443c 61.72 (-0.00) 61.15 (-0.00) 61.73 (+0.00) 184.60 (-0.00)
4f443c 61.92 (-0.00) 61.43 (-0.01) 61.53 (-0.01) 184.88 (-0.01)
788823 62.21 (+0.00) 61.83 (+0.00) 62.10 (+0.01) 186.14 (+0.01)
c21104 61.91 (+0.00) 61.53 (+0.00) 61.57 (+0.00) 185.02 (+0.00)
b9544a 61.75 (-0.00) 61.39 (-0.00) 61.43 (-0.02) 184.56 (-0.01)
33834c 61.85 (+0.00) 61.68 (+0.00) 62.40 (+0.02) 185.93 (+0.01)
521667 61.73 (+0.00) 61.55 (+0.00) 61.46 (-0.01) 184.73 (-0.00)
361648 61.68 (-0.01) 61.41 (-0.01) 61.99 (-0.00) 185.08 (-0.01)
fc0629 62.40 61.84 62.16 186.41

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query13]

platform: rds-postgres

revision Q13/1 Q13/2 Q13/3 total_duration
41aa62 59.43 (+0.00) 59.42 (+0.00) 59.36 (-0.01) 178.20 (-0.00)
7b5489 59.25 (-0.00) 59.31 (-0.01) 59.81 (+0.01) 178.37 (-0.00)
a23b07 59.42 (+0.00) 59.75 (+0.01) 59.51 (-0.01) 178.69 (+0.00)
cc2d00 59.27 (-0.01) 59.35 (+0.00) 59.99 (+0.02) 178.62 (+0.00)
ba9df2 59.66 (+0.01) 59.14 (-0.00) 59.04 (-0.01) 177.84 (-0.00)
a8f354 59.30 (+0.00) 59.26 (-0.00) 59.82 (+0.01) 178.38 (+0.00)
7feb0d 59.18 (+0.00) 59.29 (-0.00) 59.21 (+0.00) 177.67 (+0.00)
982fce 58.99 (+0.00) 59.52 (+0.01) 58.95 (-0.00) 177.46 (+0.00)
1f151d 58.95 (-0.00) 58.98 (-0.00) 59.11 (-0.00) 177.04 (-0.00)
ff1a1a 59.01 (+0.00) 59.17 (+0.00) 59.18 (+0.00) 177.37 (+0.00)
b1477b 58.90 (-0.00) 58.90 (-0.01) 58.90 (-0.00) 176.71 (-0.00)
1b947f 59.13 (+0.01) 59.22 (+0.01) 59.05 (-0.01) 177.39 (+0.00)
a21b55 58.75 (-0.00) 58.71 (-0.01) 59.50 (+0.01) 176.96 (-0.00)
4ba950 58.93 (-0.01) 59.57 (-0.01) 58.78 (-0.01) 177.28 (-0.01)
4e359d 59.60 (+0.01) 60.05 (+0.01) 59.47 (+0.00) 179.13 (+0.01)
3837fc 59.22 (+0.00) 59.19 (+0.00) 59.27 (-0.01) 177.68 (-0.00)
edcf4d 59.06 (-0.00) 59.07 (-0.01) 59.70 (+0.01) 177.83 (-0.00)
411c71 59.24 (+0.00) 59.63 (+0.00) 59.04 (-0.01) 177.91 (-0.00)
854348 59.14 (+0.01) 59.53 (+0.02) 59.89 (+0.01) 178.56 (+0.01)
7ba5c2 58.62 (-0.00) 58.61 (-0.00) 59.16 (+0.01) 176.39 (+0.00)
ebea29 58.68 (-0.01) 58.73 (-0.00) 58.65 (-0.01) 176.05 (-0.01)
22c890 59.51 (+0.01) 58.90 (-0.00) 58.98 (-0.00) 177.39 (+0.00)
f0b2e0 58.90 (-0.01) 59.06 (-0.00) 59.04 (-0.00) 176.99 (-0.00)
dec580 59.28 (+0.00) 59.31 (+0.00) 59.04 (-0.00) 177.64 (+0.00)
dec580 59.07 (-0.00) 59.04 (-0.00) 59.04 (-0.00) 177.16 (-0.00)
b1c2a6 59.13 (+0.00) 59.20 (+0.00) 59.19 (+0.00) 177.52 (+0.00)
931094 59.08 (-0.00) 59.14 (-0.00) 59.00 (-0.00) 177.22 (-0.00)
957acb 59.16 (-0.01) 59.16 (-0.00) 59.13 (-0.00) 177.45 (-0.00)
846532 59.68 (+0.01) 59.30 (-0.01) 59.22 (-0.00) 178.20 (-0.00)
d733bc 59.31 (+0.00) 59.70 (-0.00) 59.24 (-0.00) 178.25 (-0.00)
75ffe3 59.24 (+0.01) 59.87 (+0.01) 59.45 (-0.00) 178.56 (+0.00)
75ffe3 58.94 (+0.00) 59.30 (+0.01) 59.56 (+0.01) 177.81 (+0.01)
bf4623 58.93 (-0.00) 58.99 (-0.00) 58.91 (-0.00) 176.84 (-0.00)
b26c83 59.08 (+0.00) 59.15 (-0.01) 59.19 (+0.00) 177.42 (-0.00)
9d714a 59.06 (-0.00) 59.61 (+0.01) 59.07 (+0.00) 177.74 (+0.00)
6efea4 59.09 (-0.00) 59.03 (+0.00) 58.82 (-0.00) 176.94 (-0.00)
4071ff 59.35 (+0.00) 58.91 (-0.00) 58.91 (-0.00) 177.17 (-0.00)
4071ff 59.06 (-0.01) 59.09 (-0.00) 59.09 (-0.00) 177.24 (-0.00)
870ba4 59.59 (+0.00) 59.14 (+0.00) 59.26 (+0.00) 177.99 (+0.00)
f5ca89 59.49 (+0.01) 59.05 (-0.00) 59.10 (-0.01) 177.64 (-0.00)
8bd565 59.17 (+0.00) 59.23 (+0.00) 59.77 (+0.01) 178.17 (+0.01)
dd22c8 59.02 (-0.00) 59.02 (-0.00) 59.09 (-0.01) 177.14 (-0.01)
299db9 59.16 (+0.00) 59.23 (+0.00) 59.74 (+0.00) 178.13 (+0.00)
93f3f4 59.01 (+0.00) 59.02 (-0.01) 59.52 (+0.01) 177.56 (+0.00)
f6e2e0 58.75 (-0.00) 59.39 (+0.00) 58.94 (-0.01) 177.08 (-0.00)
f6e2e0 59.02 (-0.00) 59.13 (+0.00) 59.79 (+0.00) 177.93 (+0.00)
f6e2e0 59.04 (-0.00) 59.11 (+0.00) 59.60 (+0.00) 177.74 (+0.00)
f1d960 59.07 (-0.00) 58.95 (-0.01) 59.41 (+0.00) 177.44 (-0.00)
4a9279 59.15 (+0.00) 59.34 (+0.00) 59.14 (-0.01) 177.64 (-0.00)
2e4bf7 59.12 (+0.00) 59.14 (+0.00) 59.61 (+0.00) 177.87 (+0.00)
ce8fbb 59.02 (+0.00) 58.99 (-0.01) 59.52 (+0.01) 177.53 (+0.00)
ce8fbb 58.90 (-0.00) 59.41 (+0.01) 58.92 (-0.01) 177.23 (-0.00)
ce8fbb 59.06 (-0.00) 59.07 (-0.00) 59.76 (+0.01) 177.89 (+0.00)
d1a0f2 59.06 (-0.01) 59.26 (-0.01) 59.35 (-0.00) 177.68 (-0.01)
ccf92d 59.78 (-0.00) 59.91 (+0.01) 59.59 (+0.00) 179.28 (+0.00)
02b8e0 59.86 (+0.01) 59.38 (-0.02) 59.32 (-0.00) 178.57 (-0.00)
7b9057 59.24 (+0.00) 60.46 (+0.03) 59.44 (-0.00) 179.13 (+0.01)
9cada8 59.05 (+0.00) 58.98 (-0.00) 59.50 (-0.00) 177.53 (-0.00)
9cada8 59.00 (+0.00) 59.19 (-0.00) 59.65 (+0.01) 177.84 (+0.00)
9cada8 58.92 (-0.00) 59.48 (+0.00) 58.99 (-0.00) 177.40 (+0.00)
a60f68 58.98 (-0.01) 59.24 (+0.00) 59.04 (+0.00) 177.26 (-0.00)
d19c52 59.40 (+0.01) 59.00 (-0.01) 58.94 (+0.00) 177.35 (+0.00)
000eb1 58.77 (-0.01) 59.41 (+0.00) 58.82 (-0.01) 177.00 (-0.00)
000eb1 59.09 (-0.00) 59.29 (+0.00) 59.18 (-0.01) 177.57 (-0.00)
f51b48 59.22 (+0.00) 59.23 (+0.00) 59.77 (+0.01) 178.22 (+0.01)
f51b48 58.94 (-0.00) 59.12 (+0.00) 59.22 (+0.00) 177.29 (+0.00)
f51b48 58.98 (-0.01) 58.90 (-0.00) 58.95 (-0.00) 176.83 (-0.01)
9f906f 59.66 (-0.00) 58.97 (-0.01) 59.11 (-0.00) 177.74 (-0.00)
0692ff 59.69 (+0.01) 59.28 (+0.00) 59.25 (+0.00) 178.22 (+0.01)
2caece 58.99 (+0.00) 59.12 (+0.00) 59.15 (+0.01) 177.26 (+0.01)
bc7d3c 58.70 (-0.00) 58.88 (-0.00) 58.76 (-0.01) 176.34 (-0.00)
2153d2 58.94 (-0.03) 59.00 (-0.01) 59.08 (+0.00) 177.02 (-0.02)
2153d2 60.97 (+0.04) 59.87 (+0.02) 58.93 (-0.00) 179.78 (+0.02)
2153d2 58.83 (-0.00) 58.91 (-0.00) 58.98 (-0.01) 176.71 (-0.01)
a1b062 59.05 (-0.01) 59.10 (+0.00) 59.70 (+0.01) 177.85 (+0.00)
1d9d7c 59.53 (+0.01) 59.06 (-0.00) 59.10 (-0.00) 177.69 (+0.00)
3569c1 58.96 (-0.01) 59.07 (-0.00) 59.18 (+0.00) 177.21 (-0.00)
eaff14 59.49 (-0.00) 59.10 (+0.00) 58.94 (-0.00) 177.53 (-0.00)
f383b4 59.51 (+0.00) 59.07 (+0.00) 59.10 (+0.00) 177.67 (+0.00)
f383b4 59.30 (+0.01) 58.90 (-0.01) 58.91 (-0.00) 177.12 (-0.00)
f383b4 58.95 (-0.00) 59.45 (+0.01) 58.96 (-0.01) 177.36 (-0.00)
a4256b 58.95 (+0.00) 59.03 (-0.01) 59.55 (+0.01) 177.53 (-0.00)
371493 58.94 (+0.00) 59.55 (+0.01) 59.08 (-0.01) 177.57 (+0.00)
c5c143 58.88 (-0.00) 58.97 (-0.01) 59.49 (+0.01) 177.34 (+0.00)
58fa4f 58.89 (-0.01) 59.45 (+0.01) 58.93 (+0.00) 177.28 (-0.00)
121d53 59.54 (-0.01) 58.91 (-0.00) 58.87 (-0.00) 177.32 (-0.01)
121d53 59.99 (+0.01) 59.20 (-0.00) 59.13 (+0.00) 178.32 (+0.00)
ec3a3a 59.19 (+0.00) 59.27 (+0.01) 59.06 (-0.01) 177.52 (+0.00)
96e783 58.96 (-0.00) 58.92 (-0.00) 59.44 (+0.01) 177.32 (+0.00)
567b71 59.02 (+0.00) 59.13 (+0.00) 59.09 (+0.00) 177.24 (+0.00)
847fc5 58.91 (-0.00) 58.87 (-0.01) 58.86 (-0.01) 176.65 (-0.00)
5e08b3 59.10 (+0.01) 59.22 (-0.01) 59.17 (+0.01) 177.50 (+0.00)
4d291d 58.74 (-0.01) 59.58 (-0.00) 58.84 (-0.01) 177.16 (-0.00)
4d291d 59.09 (+0.00) 59.68 (+0.01) 59.19 (-0.00) 177.95 (+0.00)
bf63f1 58.94 (-0.00) 59.24 (-0.01) 59.30 (+0.00) 177.48 (-0.00)
0a0958 58.97 (+0.00) 59.60 (+0.01) 59.04 (-0.01) 177.62 (+0.00)
aabca5 58.87 (+0.01) 58.88 (-0.00) 59.41 (+0.01) 177.16 (+0.00)
a4be54 58.48 (-0.02) 59.06 (+0.00) 58.75 (-0.00) 176.30 (-0.01)
a3d7ad 59.50 (+0.01) 59.02 (+0.00) 59.00 (+0.00) 177.52 (+0.00)
a3d7ad 58.98 (-0.01) 59.01 (-0.00) 58.97 (-0.00) 176.96 (-0.00)
8ba169 59.43 (+0.00) 59.17 (+0.01) 59.01 (+0.00) 177.62 (+0.01)
e5cc2f 59.19 (-0.00) 58.70 (-0.01) 58.80 (-0.01) 176.69 (-0.01)
c6b56d 59.28 (+0.01) 59.37 (+0.01) 59.36 (+0.01) 178.01 (+0.01)
e067cd 58.78 (+0.00) 58.92 (+0.00) 58.99 (+0.00) 176.69 (+0.00)
bce423 58.63 (-0.01) 58.67 (-0.01) 58.79 (-0.01) 176.08 (-0.01)
bce423 59.09 (+0.01) 59.06 (+0.00) 59.09 (+0.01) 177.24 (+0.01)
c28bfd 58.46 (-0.01) 59.03 (-0.00) 58.58 (-0.01) 176.06 (-0.01)
95bf19 58.97 (-0.00) 59.05 (+0.00) 59.07 (-0.00) 177.09 (-0.00)
95bf19 58.99 (+0.01) 59.03 (-0.00) 59.09 (+0.01) 177.11 (+0.00)
080752 58.53 (-0.01) 59.27 (+0.00) 58.43 (-0.01) 176.23 (-0.01)
23d5e2 59.10 (-0.00) 59.08 (+0.00) 59.06 (+0.00) 177.24 (+0.00)
23d5e2 59.31 (-0.00) 58.88 (-0.01) 58.87 (-0.01) 177.06 (-0.00)
8b710b 59.33 (+0.01) 59.38 (+0.01) 59.17 (+0.00) 177.88 (+0.01)
8c6e60 58.86 (-0.01) 58.87 (+0.00) 58.91 (-0.00) 176.64 (-0.00)
10dae7 59.33 (+0.02) 58.82 (+0.00) 59.08 (+0.01) 177.23 (+0.01)
4c4d3d 58.44 (-0.01) 58.55 (-0.01) 58.78 (-0.01) 175.77 (-0.01)
9f94d0 59.02 (+0.00) 59.12 (+0.00) 59.14 (-0.01) 177.28 (-0.00)
9f94d0 59.01 (-0.00) 59.11 (-0.01) 59.44 (+0.00) 177.56 (-0.00)
9f94d0 59.17 (+0.01) 59.85 (+0.02) 59.37 (+0.01) 178.39 (+0.01)
c700c7 58.71 (-0.01) 58.58 (-0.02) 59.07 (-0.00) 176.36 (-0.01)
42c6dd 59.11 (+0.00) 59.72 (+0.01) 59.21 (+0.00) 178.05 (+0.00)
f6bf7b 58.95 (+0.00) 59.22 (+0.01) 59.00 (+0.00) 177.18 (+0.00)
1137b5 58.67 (-0.01) 58.75 (-0.01) 58.92 (-0.01) 176.34 (-0.01)
1468c6 59.06 (-0.01) 59.11 (-0.01) 59.80 (-0.00) 177.98 (-0.00)
1468c6 59.38 (+0.00) 59.43 (-0.00) 59.94 (+0.01) 178.74 (+0.00)
c01f92 59.12 (+0.00) 59.65 (+0.01) 59.13 (+0.00) 177.90 (+0.00)
7ff591 59.06 (-0.00) 59.16 (-0.00) 59.10 (-0.01) 177.32 (-0.00)
5d4774 59.13 (+0.00) 59.20 (+0.00) 59.81 (+0.00) 178.15 (+0.00)
56d8c2 59.13 (-0.00) 59.17 (+0.01) 59.67 (+0.02) 177.97 (+0.01)
12e6f4 59.23 (+0.00) 58.66 (-0.02) 58.44 (-0.01) 176.33 (-0.01)
12e6f4 59.11 (+0.00) 59.69 (+0.01) 59.13 (-0.01) 177.94 (+0.00)
61194a 58.99 (-0.00) 59.11 (-0.00) 59.64 (+0.01) 177.74 (+0.00)
70ce01 59.06 (+0.00) 59.14 (+0.00) 59.18 (-0.01) 177.38 (-0.00)
c04c20 59.01 (-0.00) 59.07 (-0.00) 59.69 (+0.01) 177.78 (+0.00)
827ee1 59.07 (-0.01) 59.13 (+0.00) 59.19 (+0.00) 177.40 (-0.00)
22ae67 59.42 (-0.01) 59.01 (-0.01) 59.05 (-0.00) 177.48 (-0.01)
0f4458 59.80 (+0.01) 59.32 (+0.00) 59.28 (+0.00) 178.40 (+0.00)
0f4458 59.19 (-0.00) 59.22 (+0.00) 59.21 (+0.00) 177.62 (+0.00)
0f4458 59.21 (+0.00) 59.17 (-0.00) 59.13 (-0.01) 177.51 (-0.00)
b8a566 59.20 (-0.01) 59.23 (-0.00) 59.78 (+0.01) 178.22 (-0.00)
b8a566 59.70 (+0.07) 59.34 (+0.07) 59.24 (+0.07) 178.28 (+0.07)
9747e9 55.72 (-0.04) 55.66 (-0.04) 55.61 (-0.04) 167.00 (-0.04)
b50e07 58.33 (-0.00) 58.03 (-0.01) 58.02 (-0.01) 174.39 (-0.01)
6a57d5 58.52 (-0.00) 58.47 (-0.00) 58.46 (-0.00) 175.45 (-0.00)
c0480f 58.70 (+0.01) 58.56 (+0.01) 58.58 (+0.01) 175.84 (+0.01)
4f443c 57.85 (-0.01) 57.95 (-0.01) 57.76 (-0.00) 173.57 (-0.01)
4f443c 58.23 (-0.00) 58.63 (+0.01) 57.89 (-0.01) 174.75 (-0.00)
788823 58.32 (-0.01) 58.33 (-0.00) 58.50 (+0.00) 175.16 (-0.00)
c21104 59.04 (+0.02) 58.45 (-0.00) 58.40 (+0.01) 175.90 (+0.01)
b9544a 58.11 (-0.01) 58.65 (+0.01) 58.00 (-0.00) 174.76 (-0.00)
33834c 58.60 (+0.01) 58.17 (-0.01) 58.17 (+0.00) 174.94 (+0.00)
521667 58.02 (-0.00) 58.61 (+0.02) 58.08 (+0.01) 174.72 (+0.01)
361648 58.10 (-0.01) 57.63 (-0.03) 57.57 (-0.02) 173.31 (-0.02)
fc0629 58.71 59.21 58.73 176.66

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query14]

platform: rds-postgres

revision Q14/1 Q14/2 Q14/3 total_duration
41aa62 63.50 (+0.01) 64.28 (+0.02) 63.50 (+0.01) 191.29 (+0.01)
7b5489 63.13 (-0.01) 63.10 (-0.01) 63.12 (-0.01) 189.35 (-0.01)
a23b07 63.57 (+0.01) 63.72 (+0.01) 63.82 (+0.01) 191.11 (+0.01)
cc2d00 63.24 (+0.01) 63.36 (+0.00) 63.43 (-0.00) 190.03 (+0.00)
ba9df2 62.91 (-0.01) 63.19 (-0.00) 63.62 (+0.00) 189.73 (-0.00)
a8f354 63.29 (-0.01) 63.38 (+0.00) 63.51 (+0.01) 190.19 (+0.00)
7feb0d 63.66 (+0.01) 63.29 (+0.00) 63.12 (+0.00) 190.06 (+0.01)
982fce 62.84 (-0.01) 63.06 (+0.00) 62.91 (-0.00) 188.81 (-0.00)
1f151d 63.48 (-0.00) 63.04 (-0.00) 63.17 (-0.00) 189.69 (-0.00)
ff1a1a 63.75 (+0.01) 63.28 (+0.01) 63.23 (+0.00) 190.25 (+0.01)
b1477b 63.35 (-0.01) 62.94 (-0.00) 62.92 (-0.00) 189.22 (-0.01)
1b947f 63.86 (+0.01) 63.18 (+0.01) 63.16 (+0.01) 190.21 (+0.01)
a21b55 63.15 (+0.00) 62.86 (-0.00) 62.79 (+0.00) 188.80 (+0.00)
4ba950 62.91 (-0.01) 62.95 (-0.01) 62.76 (-0.01) 188.63 (-0.01)
4e359d 63.53 (-0.00) 63.49 (+0.00) 63.37 (+0.00) 190.39 (+0.00)
3837fc 63.81 (+0.01) 63.37 (-0.00) 63.06 (-0.00) 190.24 (+0.00)
edcf4d 63.43 (+0.01) 63.39 (+0.01) 63.29 (+0.00) 190.11 (+0.01)
411c71 62.97 (-0.00) 63.04 (-0.01) 63.02 (-0.00) 189.03 (-0.00)
854348 63.25 (+0.01) 63.45 (+0.01) 63.22 (+0.00) 189.92 (+0.01)
7ba5c2 62.64 (-0.00) 62.83 (+0.00) 63.18 (+0.00) 188.66 (+0.00)
ebea29 62.72 (-0.00) 62.55 (-0.01) 62.95 (-0.01) 188.23 (-0.01)
22c890 62.85 (-0.01) 63.04 (+0.00) 63.66 (+0.01) 189.55 (+0.00)
f0b2e0 63.47 (+0.00) 62.79 (-0.02) 62.84 (-0.00) 189.10 (-0.00)
dec580 63.22 (+0.01) 63.81 (+0.00) 62.85 (-0.00) 189.89 (+0.00)
dec580 62.77 (-0.00) 63.62 (-0.00) 63.05 (-0.00) 189.43 (-0.00)
b1c2a6 62.90 (-0.01) 63.73 (+0.01) 63.14 (+0.00) 189.77 (+0.00)
931094 63.39 (+0.01) 63.07 (-0.00) 63.03 (-0.02) 189.50 (-0.00)
957acb 62.92 (-0.00) 63.35 (+0.00) 64.04 (+0.00) 190.32 (+0.00)
846532 63.08 (+0.00) 63.06 (-0.00) 63.86 (+0.01) 190.00 (+0.00)
d733bc 62.91 (-0.00) 63.18 (-0.00) 63.17 (+0.00) 189.25 (-0.00)
75ffe3 63.08 (-0.00) 63.26 (+0.00) 63.12 (+0.00) 189.46 (+0.00)
75ffe3 63.21 (+0.01) 63.17 (-0.00) 63.04 (+0.00) 189.42 (+0.00)
bf4623 62.76 (-0.02) 63.41 (+0.01) 63.01 (+0.00) 189.18 (-0.00)
b26c83 63.74 (+0.01) 62.97 (-0.00) 62.83 (-0.00) 189.54 (+0.00)
9d714a 63.10 (-0.01) 63.03 (-0.00) 63.11 (+0.00) 189.24 (-0.00)
6efea4 63.63 (+0.01) 63.06 (+0.01) 62.80 (-0.01) 189.49 (+0.00)
4071ff 62.94 (-0.00) 62.74 (-0.02) 63.30 (+0.00) 188.98 (-0.01)
4071ff 63.03 (+0.00) 63.75 (+0.01) 63.25 (-0.01) 190.04 (+0.00)
870ba4 62.96 (+0.00) 63.27 (+0.00) 63.72 (-0.00) 189.95 (+0.00)
f5ca89 62.93 (-0.01) 63.05 (-0.00) 63.91 (+0.01) 189.89 (+0.00)
8bd565 63.48 (-0.00) 63.24 (-0.01) 63.04 (-0.00) 189.76 (-0.00)
dd22c8 63.78 (+0.00) 63.60 (+0.01) 63.24 (-0.00) 190.62 (+0.00)
299db9 63.47 (+0.01) 63.13 (+0.00) 63.31 (+0.00) 189.92 (+0.01)
93f3f4 62.96 (+0.00) 62.91 (+0.00) 63.07 (+0.00) 188.95 (+0.00)
f6e2e0 62.83 (-0.01) 62.90 (-0.01) 62.83 (-0.01) 188.56 (-0.01)
f6e2e0 63.33 (+0.00) 63.43 (+0.00) 63.25 (+0.00) 190.02 (+0.00)
f6e2e0 63.16 (+0.00) 63.33 (+0.00) 63.06 (+0.00) 189.55 (+0.00)
f1d960 63.06 (-0.01) 63.25 (-0.00) 63.02 (-0.01) 189.34 (-0.00)
4a9279 63.38 (+0.00) 63.51 (+0.01) 63.34 (+0.00) 190.23 (+0.00)
2e4bf7 63.14 (-0.00) 63.15 (+0.00) 63.33 (+0.00) 189.62 (-0.00)
ce8fbb 63.31 (+0.01) 63.04 (-0.00) 63.32 (+0.00) 189.67 (+0.00)
ce8fbb 62.95 (-0.01) 63.05 (-0.01) 63.06 (-0.00) 189.06 (-0.01)
ce8fbb 63.33 (-0.01) 63.46 (+0.00) 63.25 (+0.01) 190.04 (+0.00)
d1a0f2 63.74 (+0.01) 63.14 (-0.00) 62.91 (-0.01) 189.80 (-0.00)
ccf92d 63.27 (-0.00) 63.32 (+0.00) 63.66 (+0.00) 190.25 (-0.00)
02b8e0 63.46 (+0.00) 63.28 (+0.00) 63.62 (+0.00) 190.35 (+0.00)
7b9057 63.15 (-0.00) 63.10 (-0.00) 63.47 (+0.01) 189.73 (+0.00)
9cada8 63.33 (+0.00) 63.17 (-0.00) 63.07 (-0.00) 189.57 (-0.00)
9cada8 63.12 (+0.00) 63.23 (+0.00) 63.24 (+0.00) 189.59 (+0.00)
9cada8 62.84 (-0.00) 63.07 (-0.00) 63.21 (+0.00) 189.12 (-0.00)
a60f68 63.14 (+0.01) 63.14 (+0.00) 63.16 (-0.02) 189.44 (-0.00)
d19c52 62.64 (-0.00) 63.06 (-0.00) 64.21 (+0.02) 189.91 (+0.01)
000eb1 62.68 (-0.01) 63.12 (+0.00) 62.76 (-0.00) 188.56 (-0.01)
000eb1 63.62 (+0.01) 62.84 (-0.01) 63.05 (-0.00) 189.52 (-0.00)
f51b48 63.02 (-0.01) 63.44 (+0.01) 63.20 (+0.00) 189.66 (-0.00)
f51b48 63.63 (+0.01) 63.12 (-0.01) 63.10 (-0.01) 189.84 (+0.00)
f51b48 62.73 (-0.00) 63.55 (+0.01) 63.43 (-0.01) 189.71 (+0.00)
9f906f 62.97 (-0.00) 62.75 (-0.01) 63.85 (+0.00) 189.57 (-0.00)
0692ff 63.06 (-0.01) 63.09 (+0.00) 63.75 (+0.01) 189.90 (-0.00)
2caece 63.73 (+0.01) 62.96 (+0.00) 63.25 (+0.00) 189.94 (+0.01)
bc7d3c 62.87 (-0.00) 62.87 (-0.01) 63.05 (+0.00) 188.79 (-0.00)
2153d2 62.96 (+0.00) 63.25 (+0.00) 62.86 (+0.00) 189.07 (+0.00)
2153d2 62.75 (-0.01) 63.23 (+0.00) 62.73 (-0.00) 188.71 (-0.00)
2153d2 63.39 (+0.00) 63.02 (-0.00) 62.77 (-0.00) 189.19 (-0.00)
a1b062 63.25 (+0.01) 63.22 (+0.01) 63.08 (-0.01) 189.55 (+0.00)
1d9d7c 62.83 (-0.01) 62.86 (-0.00) 63.54 (+0.01) 189.23 (-0.00)
3569c1 63.60 (+0.01) 63.02 (+0.00) 63.18 (-0.00) 189.80 (+0.00)
eaff14 62.79 (-0.01) 62.92 (-0.00) 63.37 (-0.01) 189.07 (-0.01)
f383b4 63.15 (+0.01) 63.16 (+0.01) 63.78 (+0.01) 190.09 (+0.01)
f383b4 62.49 (-0.01) 62.58 (-0.00) 63.23 (+0.01) 188.29 (-0.00)
f383b4 62.83 (+0.00) 62.73 (-0.00) 62.87 (+0.00) 188.43 (-0.00)
a4256b 62.80 (-0.00) 62.86 (-0.00) 62.82 (-0.00) 188.48 (-0.00)
371493 62.83 (+0.00) 63.01 (+0.01) 63.11 (+0.00) 188.96 (+0.00)
c5c143 62.61 (-0.01) 62.69 (-0.01) 62.83 (-0.02) 188.12 (-0.01)
58fa4f 63.02 (+0.00) 63.23 (+0.01) 63.84 (+0.01) 190.09 (+0.01)
121d53 62.80 (-0.00) 62.84 (-0.00) 63.41 (-0.00) 189.05 (-0.00)
121d53 62.87 (-0.01) 62.96 (-0.01) 63.46 (+0.01) 189.29 (-0.00)
ec3a3a 63.52 (+0.01) 63.71 (+0.01) 62.97 (+0.00) 190.20 (+0.01)
96e783 62.66 (-0.01) 62.99 (-0.00) 62.93 (-0.00) 188.59 (-0.01)
567b71 63.38 (+0.01) 63.10 (-0.00) 63.18 (+0.00) 189.67 (+0.00)
847fc5 62.72 (-0.02) 63.22 (-0.00) 62.87 (-0.00) 188.81 (-0.01)
5e08b3 63.72 (+0.01) 63.43 (+0.01) 62.95 (+0.00) 190.10 (+0.01)
4d291d 62.83 (-0.00) 62.87 (-0.00) 62.78 (-0.02) 188.48 (-0.01)
4d291d 63.04 (-0.00) 63.11 (+0.00) 64.00 (+0.02) 190.15 (+0.01)
bf63f1 63.13 (+0.00) 63.02 (-0.00) 62.97 (-0.00) 189.12 (-0.00)
0a0958 63.02 (+0.00) 63.09 (+0.00) 63.20 (+0.01) 189.31 (+0.00)
aabca5 62.88 (+0.01) 62.94 (+0.01) 62.80 (+0.01) 188.62 (+0.01)
a4be54 62.55 (-0.00) 62.51 (-0.00) 62.27 (-0.02) 187.33 (-0.01)
a3d7ad 62.83 (-0.01) 62.77 (-0.00) 63.57 (+0.01) 189.17 (+0.00)
a3d7ad 63.33 (+0.01) 62.81 (-0.01) 62.72 (-0.01) 188.86 (-0.01)
8ba169 63.00 (+0.01) 63.67 (+0.02) 63.52 (+0.00) 190.18 (+0.01)
e5cc2f 62.43 (-0.01) 62.39 (-0.01) 63.34 (+0.00) 188.16 (-0.01)
c6b56d 63.14 (+0.00) 63.10 (+0.01) 63.14 (+0.01) 189.38 (+0.01)
e067cd 63.12 (+0.01) 62.54 (-0.01) 62.50 (+0.00) 188.16 (+0.00)
bce423 62.39 (-0.01) 63.08 (-0.00) 62.34 (-0.01) 187.81 (-0.01)
bce423 62.91 (+0.01) 63.39 (+0.02) 62.81 (+0.01) 189.10 (+0.01)
c28bfd 62.54 (-0.01) 62.36 (-0.01) 62.14 (-0.01) 187.04 (-0.01)
95bf19 63.47 (+0.01) 63.04 (-0.01) 63.08 (-0.00) 189.59 (-0.00)
95bf19 62.97 (+0.01) 63.69 (+0.02) 63.17 (+0.01) 189.83 (+0.01)
080752 62.44 (-0.01) 62.54 (-0.01) 62.36 (-0.01) 187.34 (-0.01)
23d5e2 62.94 (+0.01) 63.09 (+0.01) 63.26 (+0.00) 189.29 (+0.00)
23d5e2 62.59 (-0.00) 62.73 (-0.01) 63.18 (+0.00) 188.51 (-0.00)
8b710b 62.87 (+0.00) 63.49 (+0.00) 63.03 (+0.00) 189.39 (+0.00)
8c6e60 62.78 (+0.00) 63.33 (+0.01) 62.86 (-0.00) 188.98 (+0.00)
10dae7 62.66 (-0.00) 62.48 (+0.00) 63.07 (+0.01) 188.21 (+0.00)
4c4d3d 62.93 (+0.00) 62.32 (-0.02) 62.38 (-0.01) 187.63 (-0.01)
9f94d0 62.91 (+0.00) 63.84 (+0.01) 63.14 (-0.00) 189.89 (+0.00)
9f94d0 62.85 (-0.00) 63.36 (+0.01) 63.24 (+0.00) 189.45 (+0.00)
9f94d0 63.03 (+0.01) 62.80 (+0.01) 63.00 (+0.01) 188.83 (+0.01)
c700c7 62.54 (-0.01) 62.42 (-0.01) 62.40 (-0.01) 187.35 (-0.01)
42c6dd 62.98 (+0.00) 63.03 (+0.00) 63.22 (+0.00) 189.23 (+0.00)
f6bf7b 62.85 (+0.00) 62.91 (+0.01) 63.04 (+0.01) 188.80 (+0.01)
1137b5 62.68 (-0.00) 62.51 (-0.01) 62.60 (-0.01) 187.80 (-0.01)
1468c6 62.71 (-0.01) 63.18 (+0.00) 63.16 (+0.01) 189.06 (+0.00)
1468c6 63.12 (+0.01) 62.96 (+0.00) 62.84 (-0.00) 188.92 (+0.00)
c01f92 62.69 (-0.00) 62.89 (-0.00) 62.91 (+0.01) 188.48 (+0.00)
7ff591 62.71 (-0.00) 63.15 (+0.00) 62.55 (-0.01) 188.40 (-0.00)
5d4774 62.87 (-0.00) 62.89 (+0.00) 62.90 (-0.00) 188.67 (-0.00)
56d8c2 62.91 (+0.01) 62.68 (+0.01) 63.11 (+0.01) 188.69 (+0.01)
12e6f4 62.21 (-0.01) 62.33 (-0.01) 62.72 (-0.01) 187.26 (-0.01)
12e6f4 62.89 (+0.00) 63.01 (+0.00) 63.11 (+0.00) 189.02 (+0.00)
61194a 62.79 (+0.00) 62.78 (-0.00) 63.00 (-0.00) 188.57 (-0.00)
70ce01 62.73 (-0.00) 63.09 (+0.00) 63.14 (+0.00) 188.95 (-0.00)
c04c20 62.95 (-0.00) 63.03 (-0.01) 63.09 (+0.00) 189.07 (-0.00)
827ee1 62.97 (+0.00) 63.56 (+0.01) 63.03 (-0.01) 189.56 (+0.00)
22ae67 62.80 (-0.01) 62.75 (-0.01) 63.92 (+0.00) 189.46 (-0.00)
0f4458 63.17 (-0.01) 63.14 (-0.00) 63.72 (+0.01) 190.04 (-0.00)
0f4458 63.70 (+0.01) 63.17 (+0.01) 63.20 (-0.00) 190.07 (+0.00)
0f4458 63.13 (-0.00) 62.75 (-0.01) 63.35 (+0.00) 189.23 (-0.00)
b8a566 63.33 (+0.00) 63.41 (+0.01) 63.14 (-0.00) 189.89 (+0.00)
b8a566 63.04 (+0.06) 63.05 (+0.06) 63.36 (+0.07) 189.45 (+0.07)
9747e9 59.31 (-0.05) 59.23 (-0.05) 59.23 (-0.04) 177.77 (-0.05)
b50e07 62.39 (-0.01) 62.07 (-0.00) 61.79 (-0.01) 186.24 (-0.01)
6a57d5 62.81 (+0.00) 62.35 (-0.01) 62.17 (-0.01) 187.33 (-0.01)
c0480f 62.75 (+0.02) 63.13 (+0.02) 63.09 (+0.03) 188.98 (+0.02)
4f443c 61.82 (+0.00) 61.74 (+0.00) 61.43 (-0.00) 184.99 (-0.00)
4f443c 61.77 (-0.01) 61.70 (-0.02) 61.56 (-0.01) 185.04 (-0.01)
788823 62.22 (+0.00) 63.02 (+0.02) 62.04 (-0.01) 187.28 (+0.00)
c21104 62.00 (+0.00) 62.09 (+0.01) 62.54 (+0.01) 186.64 (+0.01)
b9544a 61.80 (-0.00) 61.61 (-0.02) 61.68 (-0.01) 185.09 (-0.01)
33834c 61.83 (+0.00) 62.76 (+0.02) 62.10 (+0.01) 186.69 (+0.01)
521667 61.81 (+0.00) 61.78 (-0.00) 61.71 (-0.00) 185.30 (+0.00)
361648 61.59 (-0.02) 61.91 (-0.01) 61.73 (-0.02) 185.22 (-0.02)
fc0629 62.81 62.75 62.72 188.27

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query15]

platform: rds-postgres

revision Q15/1 Q15/2 Q15/3 total_duration
41aa62 7.58 (+0.01) 7.98 (+0.04) 7.83 (-0.01) 23.40 (+0.01)
7b5489 7.51 (-0.04) 7.70 (-0.11) 7.91 (-0.00) 23.13 (-0.05)
a23b07 7.85 (+0.03) 8.62 (+0.10) 7.93 (-0.02) 24.40 (+0.03)
cc2d00 7.64 (-0.04) 7.84 (+0.00) 8.10 (+0.06) 23.58 (+0.01)
ba9df2 7.97 (-0.01) 7.81 (+0.02) 7.63 (-0.10) 23.40 (-0.03)
a8f354 8.08 (+0.04) 7.62 (-0.01) 8.48 (-0.01) 24.18 (+0.01)
7feb0d 7.77 (+0.01) 7.66 (-0.04) 8.60 (+0.10) 24.04 (+0.02)
982fce 7.70 (+0.00) 8.00 (+0.03) 7.85 (+0.02) 23.56 (+0.02)
1f151d 7.68 (+0.01) 7.78 (-0.02) 7.66 (-0.01) 23.12 (-0.01)
ff1a1a 7.63 (-0.01) 7.94 (+0.04) 7.71 (-0.01) 23.28 (+0.01)
b1477b 7.67 (-0.02) 7.62 (-0.03) 7.82 (-0.01) 23.12 (-0.02)
1b947f 7.86 (-0.00) 7.84 (+0.00) 7.89 (+0.01) 23.59 (+0.00)
a21b55 7.87 (+0.01) 7.83 (-0.02) 7.79 (-0.09) 23.49 (-0.04)
4ba950 7.83 (-0.02) 8.00 (-0.01) 8.58 (+0.06) 24.41 (+0.01)
4e359d 7.96 (+0.03) 8.07 (-0.07) 8.12 (+0.00) 24.15 (-0.01)
3837fc 7.71 (-0.01) 8.69 (+0.11) 8.10 (+0.04) 24.50 (+0.04)
edcf4d 7.81 (-0.04) 7.86 (-0.08) 7.81 (-0.05) 23.48 (-0.06)
411c71 8.15 (+0.04) 8.53 (+0.09) 8.19 (+0.03) 24.87 (+0.05)
854348 7.82 (+0.01) 7.85 (-0.02) 7.94 (-0.06) 23.61 (-0.03)
7ba5c2 7.77 (+0.05) 8.04 (+0.05) 8.46 (+0.12) 24.27 (+0.07)
ebea29 7.42 (-0.13) 7.69 (-0.00) 7.54 (+0.01) 22.65 (-0.05)
22c890 8.57 (+0.14) 7.70 (-0.08) 7.46 (-0.06) 23.74 (-0.00)
f0b2e0 7.55 (+0.00) 8.33 (+0.07) 7.96 (+0.04) 23.84 (+0.04)
dec580 7.54 (+0.02) 7.82 (+0.03) 7.65 (-0.09) 23.00 (-0.02)
dec580 7.39 (-0.00) 7.59 (-0.01) 8.42 (+0.14) 23.40 (+0.04)
b1c2a6 7.39 (-0.03) 7.68 (-0.03) 7.37 (-0.01) 22.44 (-0.03)
931094 7.62 (+0.02) 7.95 (+0.05) 7.45 (-0.01) 23.02 (+0.02)
957acb 7.43 (-0.03) 7.55 (+0.02) 7.49 (-0.02) 22.48 (-0.01)
846532 7.65 (+0.00) 7.41 (-0.00) 7.62 (+0.02) 22.69 (+0.01)
d733bc 7.63 (+0.03) 7.43 (-0.06) 7.44 (+0.01) 22.51 (-0.01)
75ffe3 7.42 (-0.14) 7.93 (+0.05) 7.34 (-0.03) 22.69 (-0.04)
75ffe3 8.59 (+0.14) 7.56 (-0.06) 7.59 (-0.02) 23.74 (+0.02)
bf4623 7.52 (+0.00) 8.03 (+0.05) 7.75 (+0.02) 23.30 (+0.03)
b26c83 7.50 (-0.11) 7.63 (-0.02) 7.60 (+0.01) 22.73 (-0.04)
9d714a 8.40 (+0.15) 7.75 (+0.02) 7.55 (-0.00) 23.70 (+0.05)
6efea4 7.33 (-0.02) 7.58 (+0.00) 7.59 (+0.01) 22.50 (-0.00)
4071ff 7.46 (-0.03) 7.55 (+0.01) 7.55 (+0.00) 22.56 (-0.01)
4071ff 7.69 (+0.02) 7.50 (-0.03) 7.53 (+0.01) 22.73 (+0.00)
870ba4 7.50 (-0.02) 7.70 (+0.01) 7.43 (-0.00) 22.63 (-0.00)
f5ca89 7.66 (+0.03) 7.59 (+0.02) 7.45 (-0.02) 22.70 (+0.01)
8bd565 7.47 (+0.00) 7.43 (-0.03) 7.61 (-0.01) 22.52 (-0.01)
dd22c8 7.46 (-0.01) 7.62 (-0.02) 7.70 (-0.01) 22.78 (-0.01)
299db9 7.56 (-0.10) 7.74 (+0.01) 7.80 (+0.01) 23.10 (-0.03)
93f3f4 8.38 (+0.11) 7.65 (+0.01) 7.71 (+0.05) 23.74 (+0.05)
f6e2e0 7.54 (-0.00) 7.61 (-0.01) 7.37 (-0.05) 22.53 (-0.02)
f6e2e0 7.55 (-0.00) 7.70 (-0.11) 7.73 (+0.01) 22.98 (-0.04)
f6e2e0 7.58 (+0.04) 8.60 (+0.13) 7.66 (+0.01) 23.85 (+0.06)
f1d960 7.31 (+0.01) 7.63 (-0.03) 7.57 (+0.02) 22.52 (-0.00)
4a9279 7.27 (-0.00) 7.87 (-0.05) 7.45 (-0.01) 22.58 (-0.02)
2e4bf7 7.29 (-0.04) 8.25 (+0.11) 7.51 (-0.06) 23.05 (+0.00)
ce8fbb 7.59 (+0.03) 7.44 (-0.04) 8.02 (+0.04) 23.05 (+0.01)
ce8fbb 7.40 (-0.02) 7.72 (+0.02) 7.74 (+0.02) 22.87 (+0.00)
ce8fbb 7.58 (+0.00) 7.57 (+0.00) 7.62 (+0.01) 22.77 (+0.00)
d1a0f2 7.54 (-0.00) 7.55 (-0.04) 7.57 (+0.00) 22.67 (-0.01)
ccf92d 7.57 (-0.00) 7.86 (+0.06) 7.54 (-0.01) 22.98 (+0.02)
02b8e0 7.58 (-0.03) 7.41 (-0.01) 7.60 (-0.04) 22.59 (-0.02)
7b9057 7.80 (+0.03) 7.45 (-0.01) 7.88 (+0.03) 23.14 (+0.01)
9cada8 7.61 (-0.05) 7.55 (-0.03) 7.65 (-0.01) 22.81 (-0.03)
9cada8 8.00 (+0.10) 7.80 (+0.05) 7.75 (+0.06) 23.55 (+0.07)
9cada8 7.26 (-0.08) 7.42 (-0.01) 7.31 (-0.03) 21.99 (-0.04)
a60f68 7.91 (+0.06) 7.50 (-0.06) 7.51 (+0.02) 22.92 (+0.01)
d19c52 7.45 (+0.00) 8.01 (-0.04) 7.33 (-0.04) 22.80 (-0.03)
000eb1 7.44 (-0.01) 8.38 (+0.01) 7.65 (+0.02) 23.47 (+0.01)
000eb1 7.52 (-0.01) 8.31 (+0.10) 7.47 (+0.00) 23.30 (+0.03)
f51b48 7.61 (+0.03) 7.58 (-0.00) 7.46 (+0.01) 22.65 (+0.01)
f51b48 7.37 (+0.02) 7.62 (+0.00) 7.42 (-0.02) 22.40 (-0.00)
f51b48 7.22 (-0.02) 7.62 (-0.02) 7.58 (+0.01) 22.41 (-0.01)
9f906f 7.38 (-0.03) 7.75 (+0.03) 7.53 (-0.05) 22.67 (-0.02)
0692ff 7.64 (+0.05) 7.51 (-0.13) 7.94 (+0.06) 23.09 (-0.01)
2caece 7.30 (-0.03) 8.60 (+0.09) 7.48 (-0.02) 23.39 (+0.01)
bc7d3c 7.54 (+0.04) 7.91 (-0.01) 7.64 (-0.08) 23.09 (-0.02)
2153d2 7.26 (+0.02) 8.01 (+0.06) 8.27 (+0.12) 23.54 (+0.07)
2153d2 7.14 (-0.04) 7.54 (+0.03) 7.36 (-0.04) 22.04 (-0.02)
2153d2 7.42 (-0.01) 7.29 (-0.08) 7.67 (+0.01) 22.39 (-0.03)
a1b062 7.48 (+0.03) 7.95 (+0.03) 7.57 (+0.01) 23.00 (+0.02)
1d9d7c 7.28 (-0.02) 7.69 (-0.10) 7.47 (+0.00) 22.45 (-0.04)
3569c1 7.41 (+0.02) 8.51 (+0.11) 7.47 (+0.01) 23.39 (+0.05)
eaff14 7.24 (-0.04) 7.69 (+0.05) 7.37 (-0.03) 22.30 (-0.01)
f383b4 7.52 (+0.04) 7.35 (-0.00) 7.57 (+0.03) 22.45 (+0.02)
f383b4 7.26 (-0.05) 7.39 (-0.05) 7.33 (-0.01) 21.97 (-0.04)
f383b4 7.61 (+0.02) 7.79 (+0.00) 7.37 (+0.01) 22.77 (+0.01)
a4256b 7.43 (+0.02) 7.77 (+0.04) 7.29 (-0.02) 22.50 (+0.01)
371493 7.30 (+0.00) 7.48 (+0.01) 7.44 (-0.00) 22.22 (+0.00)
c5c143 7.27 (-0.04) 7.44 (-0.03) 7.44 (-0.01) 22.16 (-0.03)
58fa4f 7.58 (-0.00) 7.69 (+0.01) 7.54 (-0.03) 22.81 (-0.01)
121d53 7.61 (+0.02) 7.59 (+0.03) 7.74 (+0.05) 22.94 (+0.03)
121d53 7.47 (-0.00) 7.37 (-0.01) 7.38 (-0.03) 22.22 (-0.02)
ec3a3a 7.47 (+0.01) 7.46 (-0.08) 7.63 (+0.02) 22.57 (-0.02)
96e783 7.41 (-0.03) 8.15 (+0.10) 7.46 (-0.00) 23.03 (+0.02)
567b71 7.61 (+0.03) 7.44 (-0.14) 7.50 (-0.01) 22.55 (-0.05)
847fc5 7.42 (-0.01) 8.69 (+0.18) 7.56 (+0.01) 23.67 (+0.06)
5e08b3 7.52 (-0.00) 7.39 (-0.03) 7.49 (-0.00) 22.39 (-0.01)
4d291d 7.52 (+0.01) 7.60 (+0.02) 7.51 (-0.01) 22.63 (+0.01)
4d291d 7.46 (-0.11) 7.42 (-0.01) 7.59 (-0.03) 22.47 (-0.05)
bf63f1 8.35 (+0.07) 7.47 (-0.05) 7.85 (+0.03) 23.68 (+0.02)
0a0958 7.78 (-0.06) 7.85 (+0.02) 7.65 (-0.02) 23.28 (-0.02)
aabca5 8.30 (+0.01) 7.69 (+0.02) 7.83 (+0.03) 23.81 (+0.02)
a4be54 8.18 (+0.07) 7.52 (-0.01) 7.59 (+0.01) 23.30 (+0.02)
a3d7ad 7.67 (+0.02) 7.63 (-0.04) 7.52 (-0.03) 22.82 (-0.01)
a3d7ad 7.50 (-0.01) 7.93 (-0.01) 7.73 (+0.00) 23.16 (-0.01)
8ba169 7.58 (+0.02) 8.02 (+0.05) 7.71 (+0.03) 23.31 (+0.03)
e5cc2f 7.42 (+0.01) 7.63 (-0.08) 7.51 (+0.01) 22.56 (-0.02)
c6b56d 7.36 (-0.03) 8.30 (+0.12) 7.43 (-0.09) 23.10 (-0.00)
e067cd 7.56 (+0.01) 7.41 (+0.00) 8.19 (+0.09) 23.16 (+0.04)
bce423 7.47 (+0.02) 7.39 (+0.00) 7.51 (-0.01) 22.38 (+0.01)
bce423 7.31 (-0.08) 7.36 (+0.00) 7.57 (+0.02) 22.24 (-0.02)
c28bfd 7.98 (+0.07) 7.32 (-0.09) 7.41 (-0.02) 22.72 (-0.01)
95bf19 7.46 (+0.01) 8.05 (+0.04) 7.53 (+0.01) 23.04 (+0.02)
95bf19 7.38 (-0.10) 7.76 (+0.04) 7.42 (-0.02) 22.57 (-0.03)
080752 8.16 (+0.10) 7.49 (-0.11) 7.54 (+0.01) 23.19 (-0.00)
23d5e2 7.43 (-0.00) 8.37 (+0.04) 7.43 (-0.01) 23.24 (+0.01)
23d5e2 7.46 (-0.03) 8.09 (+0.09) 7.47 (-0.01) 23.02 (+0.02)
8b710b 7.71 (+0.03) 7.43 (-0.03) 7.53 (+0.00) 22.67 (-0.00)
8c6e60 7.48 (-0.01) 7.69 (+0.05) 7.51 (-0.02) 22.68 (+0.01)
10dae7 7.56 (-0.03) 7.31 (-0.01) 7.64 (-0.01) 22.51 (-0.02)
4c4d3d 7.76 (+0.05) 7.39 (-0.05) 7.74 (+0.04) 22.88 (+0.01)
9f94d0 7.39 (+0.00) 7.74 (+0.05) 7.43 (-0.01) 22.57 (+0.01)
9f94d0 7.36 (-0.14) 7.39 (-0.02) 7.50 (-0.03) 22.24 (-0.07)
9f94d0 8.59 (+0.12) 7.51 (+0.01) 7.71 (+0.02) 23.82 (+0.05)
c700c7 7.69 (+0.06) 7.46 (-0.11) 7.54 (-0.01) 22.68 (-0.03)
42c6dd 7.26 (-0.01) 8.37 (+0.10) 7.63 (+0.01) 23.26 (+0.03)
f6bf7b 7.37 (-0.01) 7.64 (+0.01) 7.55 (-0.00) 22.56 (-0.00)
1137b5 7.42 (+0.01) 7.60 (-0.01) 7.57 (+0.02) 22.59 (+0.00)
1468c6 7.37 (-0.09) 7.71 (+0.03) 7.41 (-0.14) 22.50 (-0.07)
1468c6 8.08 (+0.12) 7.48 (-0.11) 8.62 (+0.18) 24.18 (+0.05)
c01f92 7.21 (-0.02) 8.40 (-0.01) 7.32 (-0.05) 22.94 (-0.03)
7ff591 7.36 (-0.03) 8.49 (+0.08) 7.74 (+0.04) 23.59 (+0.03)
5d4774 7.55 (+0.04) 7.83 (+0.05) 7.46 (-0.01) 22.84 (+0.03)
56d8c2 7.27 (-0.03) 7.42 (-0.01) 7.51 (-0.03) 22.20 (-0.02)
12e6f4 7.47 (-0.02) 7.48 (-0.10) 7.73 (+0.01) 22.68 (-0.04)
12e6f4 7.59 (+0.06) 8.35 (+0.14) 7.63 (+0.03) 23.56 (+0.08)
61194a 7.15 (-0.09) 7.31 (-0.04) 7.41 (-0.11) 21.87 (-0.08)
70ce01 7.88 (+0.04) 7.65 (-0.01) 8.32 (+0.11) 23.85 (+0.04)
c04c20 7.56 (-0.02) 7.76 (+0.05) 7.51 (-0.01) 22.83 (+0.01)
827ee1 7.70 (+0.04) 7.38 (-0.12) 7.55 (+0.02) 22.63 (-0.03)
22ae67 7.43 (-0.04) 8.35 (+0.11) 7.43 (-0.06) 23.21 (+0.00)
0f4458 7.70 (+0.03) 7.51 (+0.00) 7.90 (+0.04) 23.11 (+0.02)
0f4458 7.47 (+0.03) 7.51 (-0.02) 7.59 (+0.02) 22.57 (+0.01)
0f4458 7.27 (-0.04) 7.68 (-0.00) 7.47 (-0.03) 22.43 (-0.02)
b8a566 7.54 (+0.01) 7.71 (-0.01) 7.68 (+0.01) 22.94 (+0.01)
b8a566 7.49 (+0.01) 7.76 (+0.02) 7.58 (-0.02) 22.82 (+0.01)
9747e9 7.42 (+0.07) 7.58 (+0.01) 7.70 (+0.11) 22.70 (+0.06)
b50e07 6.92 (+0.02) 7.53 (+0.05) 6.96 (+0.01) 21.41 (+0.03)
6a57d5 6.79 (-0.03) 7.15 (-0.03) 6.87 (-0.01) 20.82 (-0.02)
c0480f 7.02 (-0.02) 7.40 (+0.09) 6.92 (-0.04) 21.34 (+0.01)
4f443c 7.13 (+0.04) 6.80 (-0.02) 7.24 (-0.06) 21.17 (-0.02)
4f443c 6.88 (-0.02) 6.94 (-0.08) 7.70 (+0.06) 21.51 (-0.01)
788823 7.01 (+0.01) 7.52 (+0.05) 7.26 (+0.07) 21.78 (+0.04)
c21104 6.97 (-0.00) 7.17 (+0.04) 6.80 (-0.11) 20.94 (-0.03)
b9544a 6.97 (+0.02) 6.90 (-0.10) 7.61 (+0.07) 21.49 (-0.00)
33834c 6.85 (-0.05) 7.66 (+0.04) 7.08 (+0.03) 21.59 (+0.01)
521667 7.24 (+0.05) 7.39 (-0.01) 6.84 (-0.04) 21.47 (+0.00)
361648 6.90 (-0.01) 7.45 (+0.01) 7.10 (+0.01) 21.45 (+0.00)
fc0629 6.98 7.41 7.02 21.42

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query16]

platform: rds-postgres

revision Q16/1 Q16/2 Q16/3 total_duration
41aa62 66.52 (+0.00) 66.06 (-0.00) 67.10 (+0.02) 199.69 (+0.01)
7b5489 66.45 (-0.00) 66.31 (-0.00) 65.64 (-0.02) 198.41 (-0.01)
a23b07 66.64 (+0.00) 66.53 (+0.01) 66.79 (+0.00) 199.97 (+0.00)
cc2d00 66.52 (+0.00) 65.95 (-0.01) 66.51 (+0.01) 198.98 (+0.00)
ba9df2 66.41 (+0.00) 66.34 (+0.01) 66.16 (+0.01) 198.91 (+0.01)
a8f354 66.14 (+0.00) 65.57 (-0.01) 65.22 (-0.02) 196.93 (-0.01)
7feb0d 66.03 (+0.01) 66.12 (+0.01) 66.35 (+0.01) 198.51 (+0.01)
982fce 65.64 (+0.00) 65.46 (-0.02) 65.70 (+0.00) 196.81 (-0.00)
1f151d 65.51 (+0.00) 66.74 (+0.01) 65.54 (-0.00) 197.79 (+0.00)
ff1a1a 65.39 (+0.01) 66.38 (-0.02) 65.61 (-0.02) 197.38 (-0.01)
b1477b 64.61 (-0.02) 67.57 (+0.03) 67.02 (+0.03) 199.21 (+0.01)
1b947f 66.11 (+0.00) 65.71 (+0.01) 65.08 (-0.01) 196.90 (-0.00)
a21b55 65.83 (-0.01) 65.14 (-0.01) 66.07 (+0.01) 197.04 (-0.00)
4ba950 66.40 (+0.00) 65.70 (-0.01) 65.32 (-0.01) 197.41 (-0.01)
4e359d 66.29 (+0.02) 66.15 (-0.01) 66.08 (+0.01) 198.53 (+0.01)
3837fc 65.04 (-0.01) 66.76 (+0.01) 65.67 (-0.00) 197.48 (+0.00)
edcf4d 65.64 (+0.01) 65.83 (-0.01) 65.72 (+0.02) 197.20 (+0.00)
411c71 65.29 (-0.01) 66.48 (-0.00) 64.63 (-0.03) 196.40 (-0.01)
854348 65.75 (+0.01) 66.50 (+0.02) 66.29 (+0.03) 198.54 (+0.02)
7ba5c2 65.30 (-0.02) 64.98 (-0.02) 64.59 (-0.04) 194.87 (-0.03)
ebea29 66.63 (+0.01) 66.51 (+0.00) 67.09 (+0.00) 200.24 (+0.00)
22c890 66.29 (+0.02) 66.35 (-0.00) 66.93 (+0.01) 199.57 (+0.01)
f0b2e0 65.24 (-0.01) 66.57 (-0.01) 66.56 (-0.01) 198.37 (-0.01)
dec580 66.06 (-0.01) 67.32 (+0.01) 67.27 (-0.00) 200.66 (-0.00)
dec580 66.92 (+0.00) 66.84 (-0.01) 67.30 (+0.01) 201.06 (+0.00)
b1c2a6 66.78 (-0.01) 67.56 (+0.01) 66.71 (-0.01) 201.05 (-0.00)
931094 67.48 (+0.01) 67.04 (-0.01) 67.49 (+0.01) 202.01 (+0.00)
957acb 67.03 (-0.01) 67.76 (+0.00) 66.65 (-0.00) 201.43 (-0.00)
846532 67.54 (-0.01) 67.74 (+0.00) 66.83 (-0.01) 202.11 (-0.01)
d733bc 68.03 (+0.01) 67.64 (-0.00) 67.49 (+0.01) 203.16 (+0.01)
75ffe3 67.10 (-0.00) 67.82 (+0.02) 66.98 (-0.00) 201.91 (+0.00)
75ffe3 67.11 (-0.01) 66.70 (-0.01) 67.23 (-0.01) 201.04 (-0.01)
bf4623 67.64 (-0.00) 67.30 (-0.01) 68.07 (+0.01) 203.01 (-0.00)
b26c83 67.64 (+0.01) 68.13 (+0.00) 67.28 (+0.00) 203.05 (+0.00)
9d714a 66.95 (+0.00) 68.07 (+0.01) 67.21 (-0.01) 202.23 (-0.00)
6efea4 66.89 (-0.00) 67.55 (-0.00) 67.84 (+0.00) 202.29 (-0.00)
4071ff 67.00 (-0.01) 67.74 (+0.01) 67.61 (-0.00) 202.36 (-0.00)
4071ff 67.80 (+0.01) 67.35 (+0.00) 67.68 (-0.01) 202.83 (-0.00)
870ba4 67.34 (-0.02) 67.29 (-0.02) 68.39 (+0.00) 203.02 (-0.01)
f5ca89 68.83 (+0.04) 68.67 (+0.03) 68.09 (+0.01) 205.59 (+0.03)
8bd565 66.12 (-0.00) 66.66 (-0.00) 67.15 (+0.02) 199.93 (+0.01)
dd22c8 66.23 (-0.00) 66.68 (+0.01) 66.02 (-0.00) 198.93 (+0.00)
299db9 66.46 (+0.01) 65.93 (-0.00) 66.35 (+0.01) 198.74 (+0.01)
93f3f4 65.78 (+0.00) 66.09 (+0.00) 65.73 (-0.00) 197.61 (-0.00)
f6e2e0 65.77 (-0.01) 66.05 (-0.00) 66.01 (+0.01) 197.84 (-0.00)
f6e2e0 66.52 (+0.01) 66.11 (+0.00) 65.63 (-0.01) 198.26 (+0.00)
f6e2e0 66.18 (+0.01) 65.86 (+0.00) 65.97 (-0.00) 198.01 (+0.00)
f1d960 65.84 (-0.02) 65.78 (-0.01) 66.23 (+0.01) 197.85 (-0.01)
4a9279 66.90 (+0.01) 66.26 (+0.00) 65.83 (+0.01) 198.99 (+0.01)
2e4bf7 66.04 (+0.00) 66.20 (+0.01) 65.20 (-0.02) 197.44 (-0.00)
ce8fbb 66.03 (+0.01) 65.77 (+0.01) 66.43 (+0.02) 198.23 (+0.01)
ce8fbb 65.21 (-0.02) 65.38 (-0.01) 65.38 (-0.01) 195.98 (-0.01)
ce8fbb 66.54 (+0.01) 66.23 (+0.01) 65.77 (-0.01) 198.54 (+0.00)
d1a0f2 65.92 (-0.01) 65.89 (-0.01) 66.42 (+0.00) 198.23 (-0.01)
ccf92d 66.33 (+0.00) 66.63 (-0.00) 66.28 (+0.00) 199.25 (-0.00)
02b8e0 66.27 (+0.01) 66.87 (+0.01) 66.26 (-0.01) 199.40 (+0.01)
7b9057 65.63 (-0.02) 65.90 (-0.01) 66.77 (+0.01) 198.30 (-0.01)
9cada8 67.10 (+0.02) 66.84 (+0.02) 66.00 (-0.00) 199.95 (+0.01)
9cada8 66.05 (-0.01) 65.27 (-0.01) 66.19 (-0.01) 197.51 (-0.01)
9cada8 66.66 (+0.01) 66.26 (-0.01) 66.65 (+0.02) 199.56 (+0.01)
a60f68 65.95 (+0.00) 66.72 (+0.01) 65.59 (-0.01) 198.26 (+0.00)
d19c52 65.66 (+0.01) 66.01 (-0.00) 66.17 (+0.00) 197.84 (+0.00)
000eb1 65.26 (-0.02) 66.13 (-0.01) 65.95 (-0.00) 197.35 (-0.01)
000eb1 66.27 (+0.01) 66.54 (-0.02) 66.09 (+0.01) 198.91 (+0.00)
f51b48 65.36 (-0.01) 67.66 (+0.01) 65.25 (-0.02) 198.26 (-0.01)
f51b48 66.25 (+0.01) 66.84 (+0.02) 66.37 (-0.00) 199.46 (+0.01)
f51b48 65.41 (-0.01) 65.36 (-0.01) 66.40 (+0.00) 197.18 (-0.00)
9f906f 65.99 (-0.01) 65.97 (+0.00) 66.15 (-0.01) 198.11 (-0.00)
0692ff 66.39 (+0.00) 65.77 (-0.01) 66.62 (+0.02) 198.78 (+0.01)
2caece 66.11 (+0.00) 66.30 (+0.01) 65.31 (-0.00) 197.71 (+0.00)
bc7d3c 66.04 (+0.01) 65.81 (+0.01) 65.61 (-0.02) 197.47 (+0.00)
2153d2 65.45 (-0.01) 64.88 (-0.01) 66.63 (+0.02) 196.97 (+0.00)
2153d2 65.88 (+0.00) 65.62 (+0.00) 65.03 (-0.02) 196.53 (-0.00)
2153d2 65.68 (-0.01) 65.50 (-0.02) 66.26 (+0.00) 197.45 (-0.01)
a1b062 66.55 (+0.01) 66.52 (+0.01) 65.94 (-0.00) 199.01 (+0.00)
1d9d7c 66.02 (+0.01) 65.84 (-0.01) 66.19 (-0.00) 198.05 (-0.00)
3569c1 65.56 (-0.01) 66.48 (+0.01) 66.23 (+0.00) 198.27 (-0.00)
eaff14 66.44 (-0.00) 65.73 (-0.01) 66.11 (-0.00) 198.29 (-0.01)
f383b4 66.52 (+0.02) 66.57 (+0.00) 66.43 (+0.01) 199.52 (+0.01)
f383b4 65.35 (-0.01) 66.30 (+0.02) 65.45 (-0.01) 197.11 (+0.00)
f383b4 65.69 (-0.01) 65.08 (-0.01) 66.03 (+0.01) 196.81 (-0.00)
a4256b 66.45 (+0.01) 65.57 (-0.00) 65.63 (-0.00) 197.65 (+0.00)
371493 65.47 (+0.00) 65.63 (-0.00) 65.72 (+0.01) 196.82 (+0.00)
c5c143 65.25 (+0.00) 65.92 (+0.01) 65.06 (-0.01) 196.23 (-0.00)
58fa4f 65.03 (+0.01) 65.53 (-0.00) 65.87 (+0.01) 196.43 (+0.01)
121d53 64.59 (-0.01) 65.54 (+0.02) 65.06 (-0.01) 195.19 (+0.00)
121d53 65.04 (-0.01) 64.50 (-0.02) 65.41 (-0.00) 194.95 (-0.01)
ec3a3a 65.60 (-0.01) 65.65 (+0.00) 65.66 (-0.00) 196.91 (-0.00)
96e783 66.03 (+0.01) 65.52 (+0.01) 65.69 (-0.01) 197.24 (+0.00)
567b71 65.21 (-0.00) 65.07 (-0.00) 66.09 (+0.00) 196.37 (-0.00)
847fc5 65.26 (-0.00) 65.13 (+0.00) 66.02 (+0.00) 196.42 (-0.00)
5e08b3 65.56 (-0.00) 65.01 (-0.00) 66.00 (+0.01) 196.57 (+0.00)
4d291d 65.65 (+0.00) 65.10 (-0.00) 65.35 (+0.00) 196.10 (+0.00)
4d291d 65.42 (-0.00) 65.40 (-0.01) 65.04 (-0.00) 195.86 (-0.01)
bf63f1 65.60 (-0.00) 66.21 (+0.02) 65.30 (-0.00) 197.11 (+0.00)
0a0958 65.65 (+0.01) 64.94 (-0.01) 65.55 (+0.01) 196.14 (+0.00)
aabca5 65.28 (+0.01) 65.91 (+0.02) 64.90 (+0.01) 196.10 (+0.01)
a4be54 64.49 (-0.01) 64.78 (-0.01) 64.45 (-0.01) 193.72 (-0.01)
a3d7ad 65.16 (-0.00) 65.60 (+0.01) 65.26 (-0.00) 196.02 (+0.00)
a3d7ad 65.37 (+0.00) 65.05 (-0.00) 65.44 (-0.01) 195.87 (-0.00)
8ba169 65.10 (-0.00) 65.18 (+0.01) 65.86 (+0.02) 196.14 (+0.01)
e5cc2f 65.35 (-0.01) 64.84 (-0.01) 64.43 (-0.02) 194.62 (-0.01)
c6b56d 66.17 (+0.02) 65.40 (-0.02) 65.86 (+0.00) 197.43 (+0.00)
e067cd 64.73 (-0.00) 66.55 (+0.03) 65.59 (-0.01) 196.87 (+0.01)
bce423 65.03 (-0.01) 64.79 (-0.02) 66.04 (+0.01) 195.87 (-0.01)
bce423 65.39 (+0.00) 66.40 (+0.03) 65.32 (+0.02) 197.11 (+0.02)
c28bfd 65.18 (+0.00) 64.44 (-0.02) 63.95 (-0.02) 193.57 (-0.01)
95bf19 65.00 (-0.02) 66.05 (-0.00) 65.08 (-0.02) 196.14 (-0.01)
95bf19 66.11 (+0.01) 66.18 (+0.03) 66.10 (+0.01) 198.38 (+0.01)
080752 65.72 (+0.01) 64.54 (-0.01) 65.20 (-0.00) 195.46 (+0.00)
23d5e2 64.87 (-0.02) 65.12 (-0.01) 65.36 (-0.01) 195.35 (-0.01)
23d5e2 65.88 (+0.00) 65.69 (-0.01) 66.03 (+0.00) 197.61 (-0.00)
8b710b 65.84 (+0.02) 66.03 (+0.01) 65.88 (-0.00) 197.75 (+0.01)
8c6e60 64.33 (+0.00) 65.46 (+0.01) 66.02 (+0.01) 195.82 (+0.01)
10dae7 64.24 (-0.02) 64.83 (-0.00) 65.58 (+0.01) 194.65 (-0.00)
4c4d3d 65.73 (+0.01) 65.01 (-0.01) 64.82 (-0.02) 195.56 (-0.01)
9f94d0 64.83 (-0.01) 65.68 (+0.01) 66.14 (+0.01) 196.65 (+0.00)
9f94d0 65.52 (+0.01) 64.98 (+0.01) 65.37 (-0.01) 195.87 (+0.00)
9f94d0 65.16 (-0.01) 64.65 (-0.01) 65.73 (+0.01) 195.54 (-0.00)
c700c7 65.74 (-0.00) 65.02 (-0.01) 65.23 (-0.01) 195.99 (-0.01)
42c6dd 65.89 (-0.01) 65.46 (-0.00) 65.91 (+0.00) 197.26 (-0.00)
f6bf7b 66.50 (+0.02) 65.53 (+0.00) 65.62 (+0.02) 197.65 (+0.01)
1137b5 65.21 (+0.01) 65.30 (-0.01) 64.47 (-0.02) 194.99 (-0.01)
1468c6 64.76 (-0.02) 65.91 (-0.00) 65.55 (+0.01) 196.22 (-0.00)
1468c6 65.80 (+0.00) 66.13 (+0.01) 64.87 (+0.00) 196.81 (+0.01)
c01f92 65.52 (+0.00) 65.16 (+0.00) 64.60 (-0.02) 195.28 (-0.00)
7ff591 65.43 (-0.01) 64.91 (-0.02) 65.63 (+0.00) 195.98 (-0.01)
5d4774 65.87 (-0.01) 66.02 (+0.01) 65.38 (-0.00) 197.27 (-0.00)
56d8c2 66.67 (+0.03) 65.47 (+0.01) 65.64 (+0.02) 197.79 (+0.02)
12e6f4 64.66 (+0.00) 64.65 (+0.00) 64.14 (-0.02) 193.45 (-0.01)
12e6f4 64.46 (-0.04) 64.63 (-0.00) 65.44 (+0.01) 194.53 (-0.01)
61194a 66.84 (+0.02) 64.77 (-0.01) 64.81 (-0.01) 196.43 (+0.00)
70ce01 65.66 (-0.00) 65.54 (-0.01) 65.17 (+0.00) 196.37 (-0.00)
c04c20 65.90 (+0.02) 66.15 (+0.01) 64.92 (-0.02) 196.97 (+0.00)
827ee1 64.89 (-0.01) 65.31 (-0.00) 66.17 (+0.02) 196.38 (+0.00)
22ae67 65.33 (-0.01) 65.42 (-0.00) 64.98 (-0.01) 195.73 (-0.01)
0f4458 66.00 (+0.01) 65.53 (-0.01) 65.83 (-0.00) 197.36 (-0.00)
0f4458 65.45 (+0.01) 65.94 (+0.00) 65.97 (-0.01) 197.37 (+0.00)
0f4458 64.74 (-0.01) 65.69 (-0.00) 66.83 (+0.02) 197.26 (+0.00)
b8a566 65.08 (-0.01) 65.83 (+0.02) 65.67 (+0.00) 196.58 (+0.00)
b8a566 65.58 (+0.06) 64.79 (+0.06) 65.45 (+0.08) 195.83 (+0.06)
9747e9 61.86 (-0.03) 61.41 (-0.04) 60.83 (-0.05) 184.10 (-0.04)
b50e07 63.93 (-0.01) 63.93 (-0.02) 63.95 (-0.03) 191.80 (-0.02)
6a57d5 64.86 (-0.01) 65.03 (+0.01) 65.86 (+0.01) 195.75 (+0.00)
c0480f 65.52 (+0.01) 64.66 (+0.01) 65.35 (-0.01) 195.53 (+0.00)
4f443c 65.07 (-0.01) 64.16 (-0.01) 66.29 (+0.03) 195.53 (+0.00)
4f443c 65.91 (+0.02) 64.65 (-0.01) 64.05 (-0.04) 194.62 (-0.01)
788823 64.92 (+0.01) 65.27 (+0.01) 66.57 (+0.01) 196.75 (+0.01)
c21104 64.01 (-0.03) 64.76 (+0.02) 65.69 (+0.02) 194.46 (+0.00)
b9544a 65.91 (+0.02) 63.72 (-0.03) 64.65 (+0.00) 194.27 (-0.00)
33834c 64.84 (+0.00) 65.40 (+0.01) 64.58 (-0.01) 194.82 (+0.00)
521667 64.55 (+0.01) 64.89 (-0.01) 64.98 (+0.02) 194.43 (+0.01)
361648 63.88 (-0.03) 65.38 (+0.01) 63.68 (-0.02) 192.95 (-0.01)
fc0629 65.52 65.02 65.02 195.56

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query17]

platform: rds-postgres

revision Q17/1 Q17/2 Q17/3 total_duration
41aa62 65.19 (+0.01) 64.33 (-0.01) 64.71 (-0.01) 194.23 (-0.00)
7b5489 64.68 (-0.00) 64.92 (-0.00) 65.14 (-0.01) 194.74 (-0.00)
a23b07 64.83 (-0.00) 65.19 (+0.00) 65.56 (+0.00) 195.58 (+0.00)
cc2d00 64.90 (+0.01) 65.10 (+0.02) 65.32 (+0.01) 195.33 (+0.01)
ba9df2 64.36 (+0.01) 64.13 (+0.00) 64.39 (-0.01) 192.88 (+0.00)
a8f354 63.73 (-0.01) 63.83 (-0.00) 65.04 (+0.00) 192.61 (-0.01)
7feb0d 64.61 (+0.01) 64.02 (+0.00) 64.97 (+0.03) 193.61 (+0.01)
982fce 64.18 (+0.00) 63.94 (+0.00) 62.97 (-0.02) 191.10 (-0.01)
1f151d 64.14 (-0.00) 63.63 (-0.00) 64.57 (-0.00) 192.35 (-0.00)
ff1a1a 64.37 (+0.02) 63.79 (+0.01) 64.81 (+0.03) 192.97 (+0.02)
b1477b 62.90 (-0.02) 63.25 (-0.04) 62.77 (-0.03) 188.92 (-0.03)
1b947f 64.07 (+0.02) 65.56 (+0.03) 64.96 (+0.02) 194.58 (+0.03)
a21b55 62.89 (+0.00) 63.42 (-0.03) 63.44 (-0.01) 189.75 (-0.01)
4ba950 62.76 (-0.04) 65.33 (+0.01) 63.97 (-0.03) 192.06 (-0.02)
4e359d 65.16 (+0.02) 64.64 (+0.01) 65.84 (+0.03) 195.64 (+0.02)
3837fc 63.97 (+0.00) 64.09 (-0.01) 63.81 (-0.02) 191.87 (-0.01)
edcf4d 63.73 (-0.01) 64.53 (+0.01) 65.14 (+0.02) 193.40 (+0.01)
411c71 64.39 (+0.01) 64.13 (-0.01) 63.62 (-0.02) 192.14 (-0.01)
854348 63.45 (-0.01) 64.50 (+0.02) 65.19 (+0.03) 193.15 (+0.01)
7ba5c2 64.23 (-0.01) 63.21 (-0.01) 63.07 (-0.03) 190.50 (-0.02)
ebea29 64.75 (+0.00) 63.89 (-0.00) 65.15 (+0.00) 193.79 (+0.00)
22c890 64.64 (-0.00) 63.95 (-0.01) 65.09 (+0.00) 193.68 (-0.00)
f0b2e0 64.75 (-0.02) 64.52 (-0.02) 64.97 (-0.00) 194.24 (-0.01)
dec580 65.82 (+0.01) 65.71 (+0.01) 65.22 (-0.01) 196.75 (+0.00)
dec580 65.39 (-0.01) 65.26 (-0.00) 65.77 (+0.01) 196.43 (-0.00)
b1c2a6 66.27 (+0.02) 65.31 (+0.00) 64.87 (-0.01) 196.45 (+0.01)
931094 64.84 (-0.02) 65.02 (-0.01) 65.51 (+0.01) 195.37 (-0.01)
957acb 65.98 (-0.01) 65.63 (+0.00) 64.86 (-0.03) 196.47 (-0.01)
846532 66.70 (+0.02) 65.46 (-0.01) 66.54 (+0.02) 198.69 (+0.01)
d733bc 65.35 (+0.00) 65.90 (-0.01) 65.40 (-0.01) 196.65 (-0.01)
75ffe3 65.31 (+0.00) 66.69 (+0.02) 66.17 (-0.01) 198.17 (+0.01)
75ffe3 65.02 (-0.00) 65.56 (+0.00) 66.52 (+0.01) 197.10 (+0.00)
bf4623 65.18 (-0.01) 65.51 (-0.01) 65.54 (-0.01) 196.22 (-0.01)
b26c83 65.53 (-0.00) 66.26 (-0.02) 66.41 (+0.01) 198.20 (-0.00)
9d714a 65.82 (+0.00) 67.33 (+0.02) 65.88 (-0.00) 199.03 (+0.01)
6efea4 65.61 (-0.02) 65.96 (-0.00) 65.92 (-0.00) 197.50 (-0.01)
4071ff 66.87 (+0.01) 66.29 (+0.00) 66.03 (-0.01) 199.19 (+0.00)
4071ff 66.24 (-0.01) 65.96 (-0.00) 66.68 (-0.00) 198.88 (-0.00)
870ba4 66.78 (+0.01) 66.23 (-0.01) 66.75 (-0.00) 199.76 (-0.00)
f5ca89 66.24 (+0.02) 67.09 (+0.04) 66.82 (+0.03) 200.15 (+0.03)
8bd565 64.97 (+0.01) 64.68 (+0.00) 64.80 (+0.01) 194.45 (+0.01)
dd22c8 64.31 (+0.01) 64.67 (+0.01) 64.42 (-0.01) 193.40 (+0.00)
299db9 63.81 (+0.00) 64.16 (-0.01) 65.22 (+0.01) 193.19 (+0.00)
93f3f4 63.52 (-0.00) 64.59 (-0.00) 64.46 (+0.00) 192.57 (+0.00)
f6e2e0 63.55 (-0.02) 64.80 (+0.01) 64.21 (-0.01) 192.56 (-0.01)
f6e2e0 64.57 (+0.01) 64.37 (+0.00) 64.74 (+0.00) 193.68 (+0.01)
f6e2e0 63.95 (-0.00) 64.07 (+0.01) 64.43 (-0.01) 192.45 (-0.00)
f1d960 64.17 (-0.00) 63.40 (-0.01) 65.21 (+0.01) 192.78 (-0.00)
4a9279 64.20 (-0.01) 64.06 (-0.00) 64.57 (-0.00) 192.83 (-0.00)
2e4bf7 64.66 (+0.00) 64.22 (+0.00) 64.61 (-0.01) 193.48 (-0.00)
ce8fbb 64.62 (+0.00) 63.91 (-0.00) 65.14 (+0.01) 193.68 (+0.00)
ce8fbb 64.59 (+0.01) 63.91 (-0.01) 64.58 (+0.00) 193.08 (+0.00)
ce8fbb 63.83 (-0.00) 64.59 (-0.00) 64.39 (+0.01) 192.81 (-0.00)
d1a0f2 64.13 (-0.01) 64.83 (-0.00) 63.91 (-0.01) 192.86 (-0.01)
ccf92d 64.89 (-0.01) 64.87 (+0.01) 64.66 (-0.00) 194.43 (-0.00)
02b8e0 65.47 (+0.02) 64.16 (-0.00) 64.85 (-0.00) 194.49 (+0.01)
7b9057 64.20 (-0.00) 64.31 (-0.01) 65.00 (+0.00) 193.51 (-0.00)
9cada8 64.27 (-0.01) 65.16 (+0.02) 65.00 (-0.01) 194.43 (+0.00)
9cada8 64.61 (-0.00) 64.09 (-0.02) 65.44 (+0.03) 194.14 (+0.00)
9cada8 64.79 (+0.00) 65.47 (+0.02) 63.82 (-0.02) 194.07 (+0.00)
a60f68 64.60 (+0.01) 64.28 (-0.01) 65.09 (+0.03) 193.97 (+0.01)
d19c52 64.00 (+0.01) 64.84 (+0.00) 63.33 (-0.01) 192.17 (-0.00)
000eb1 63.66 (-0.02) 64.59 (-0.01) 64.12 (-0.01) 192.37 (-0.01)
000eb1 64.97 (-0.00) 65.02 (+0.02) 64.57 (-0.01) 194.57 (+0.00)
f51b48 65.05 (+0.02) 63.64 (-0.01) 65.32 (+0.02) 194.02 (+0.01)
f51b48 64.01 (-0.01) 64.50 (+0.00) 63.91 (+0.00) 192.42 (-0.00)
f51b48 64.65 (-0.00) 64.27 (-0.00) 63.63 (-0.01) 192.55 (-0.01)
9f906f 64.65 (-0.01) 64.50 (+0.01) 64.49 (-0.00) 193.65 (-0.00)
0692ff 65.56 (+0.03) 63.97 (+0.00) 64.73 (+0.01) 194.27 (+0.01)
2caece 63.88 (-0.01) 63.79 (+0.00) 63.89 (+0.01) 191.56 (+0.00)
bc7d3c 64.24 (+0.00) 63.60 (-0.02) 63.40 (-0.02) 191.25 (-0.01)
2153d2 63.94 (-0.01) 64.73 (+0.02) 64.67 (+0.00) 193.34 (+0.00)
2153d2 64.76 (+0.01) 63.72 (-0.02) 64.52 (+0.01) 193.00 (+0.00)
2153d2 63.91 (-0.01) 64.70 (-0.00) 63.92 (-0.01) 192.53 (-0.01)
a1b062 64.56 (+0.01) 64.97 (+0.01) 64.59 (-0.00) 194.12 (+0.00)
1d9d7c 64.12 (+0.00) 64.17 (+0.00) 64.88 (-0.00) 193.16 (+0.00)
3569c1 63.86 (-0.02) 63.95 (-0.01) 65.21 (+0.02) 193.02 (-0.00)
eaff14 65.07 (-0.01) 64.37 (-0.01) 64.09 (-0.01) 193.53 (-0.01)
f383b4 65.67 (-0.00) 65.14 (+0.01) 64.87 (+0.01) 195.69 (+0.01)
f383b4 65.69 (+0.02) 64.34 (-0.01) 64.28 (-0.01) 194.32 (-0.00)
f383b4 64.52 (+0.02) 65.01 (+0.03) 64.82 (+0.01) 194.35 (+0.02)
a4256b 63.53 (-0.01) 63.12 (-0.03) 63.98 (+0.01) 190.63 (-0.01)
371493 64.30 (+0.02) 64.82 (+0.01) 63.25 (-0.02) 192.38 (+0.00)
c5c143 63.25 (-0.01) 63.94 (+0.00) 64.26 (+0.01) 191.45 (-0.00)
58fa4f 63.86 (-0.01) 63.93 (+0.00) 63.94 (+0.01) 191.73 (-0.00)
121d53 64.57 (+0.01) 63.72 (-0.02) 63.51 (+0.00) 191.80 (-0.00)
121d53 63.82 (+0.00) 64.82 (+0.02) 63.31 (-0.01) 191.96 (+0.01)
ec3a3a 63.81 (+0.00) 63.27 (-0.01) 63.91 (-0.01) 190.99 (-0.01)
96e783 63.72 (+0.01) 64.08 (+0.01) 64.41 (+0.01) 192.21 (+0.01)
567b71 63.14 (-0.00) 63.63 (+0.00) 63.55 (+0.00) 190.32 (+0.00)
847fc5 63.36 (-0.02) 63.47 (-0.01) 63.47 (-0.01) 190.30 (-0.01)
5e08b3 64.46 (+0.02) 63.79 (-0.00) 64.06 (+0.01) 192.32 (+0.01)
4d291d 63.49 (+0.00) 63.92 (-0.01) 63.34 (-0.00) 190.75 (-0.00)
4d291d 63.33 (-0.02) 64.44 (+0.00) 63.51 (-0.02) 191.29 (-0.01)
bf63f1 64.48 (+0.02) 64.16 (-0.01) 64.84 (+0.01) 193.48 (+0.01)
0a0958 63.16 (-0.01) 64.66 (+0.00) 64.24 (-0.01) 192.06 (-0.01)
aabca5 63.92 (+0.02) 64.47 (+0.02) 64.78 (+0.03) 193.17 (+0.02)
a4be54 62.51 (-0.03) 63.44 (-0.00) 62.66 (-0.02) 188.61 (-0.02)
a3d7ad 64.23 (+0.01) 63.65 (+0.00) 64.05 (+0.01) 191.93 (+0.01)
a3d7ad 63.44 (-0.01) 63.60 (-0.01) 63.27 (+0.00) 190.31 (-0.00)
8ba169 64.02 (-0.00) 63.97 (+0.01) 63.23 (+0.01) 191.21 (+0.00)
e5cc2f 64.20 (-0.00) 63.45 (-0.01) 62.86 (-0.01) 190.51 (-0.01)
c6b56d 64.46 (+0.02) 64.22 (+0.01) 63.18 (-0.01) 191.87 (+0.01)
e067cd 63.22 (+0.02) 63.82 (+0.01) 63.73 (+0.01) 190.76 (+0.01)
bce423 62.19 (-0.03) 63.23 (-0.01) 63.06 (-0.01) 188.48 (-0.02)
bce423 63.93 (+0.03) 63.87 (+0.00) 63.90 (+0.01) 191.70 (+0.01)
c28bfd 62.27 (-0.04) 63.71 (-0.00) 62.99 (-0.01) 188.96 (-0.02)
95bf19 64.70 (+0.01) 63.98 (+0.00) 63.72 (-0.00) 192.40 (+0.00)
95bf19 64.00 (+0.01) 63.73 (+0.01) 63.82 (+0.01) 191.55 (+0.01)
080752 63.25 (-0.02) 62.84 (-0.01) 62.92 (-0.02) 189.00 (-0.01)
23d5e2 64.41 (-0.01) 63.31 (+0.00) 63.98 (+0.01) 191.69 (+0.00)
23d5e2 65.06 (+0.01) 63.27 (-0.01) 63.13 (-0.02) 191.47 (-0.01)
8b710b 64.36 (+0.02) 64.07 (+0.00) 64.16 (+0.01) 192.59 (+0.01)
8c6e60 63.34 (-0.02) 63.95 (-0.00) 63.55 (-0.01) 190.85 (-0.01)
10dae7 64.58 (+0.03) 64.16 (+0.02) 64.00 (+0.01) 192.74 (+0.02)
4c4d3d 62.73 (-0.03) 63.08 (-0.01) 63.08 (-0.02) 188.89 (-0.02)
9f94d0 64.43 (-0.00) 63.47 (-0.00) 64.68 (+0.00) 192.58 (-0.00)
9f94d0 64.74 (+0.01) 63.67 (-0.01) 64.58 (+0.01) 192.98 (+0.00)
9f94d0 64.16 (+0.02) 64.47 (+0.03) 64.01 (-0.00) 192.63 (+0.01)
c700c7 62.96 (-0.01) 62.77 (-0.03) 64.12 (+0.01) 189.85 (-0.01)
42c6dd 63.85 (+0.00) 65.02 (+0.03) 63.53 (+0.01) 192.40 (+0.01)
f6bf7b 63.75 (+0.01) 63.11 (+0.01) 63.08 (+0.01) 189.94 (+0.01)
1137b5 63.20 (-0.01) 62.44 (-0.02) 62.63 (-0.02) 188.28 (-0.02)
1468c6 63.95 (-0.00) 63.78 (-0.01) 64.00 (-0.01) 191.73 (-0.01)
1468c6 64.17 (+0.02) 64.73 (-0.01) 64.64 (+0.01) 193.54 (+0.01)
c01f92 63.17 (+0.00) 65.19 (+0.02) 63.81 (+0.00) 192.17 (+0.01)
7ff591 62.91 (-0.01) 63.60 (+0.00) 63.50 (-0.01) 190.02 (-0.01)
5d4774 63.68 (-0.00) 63.34 (+0.00) 64.28 (+0.00) 191.30 (-0.00)
56d8c2 63.86 (+0.01) 63.25 (+0.00) 64.24 (+0.03) 191.35 (+0.01)
12e6f4 63.33 (-0.00) 63.16 (-0.01) 62.18 (-0.03) 188.67 (-0.02)
12e6f4 63.40 (-0.02) 64.00 (-0.01) 64.15 (-0.01) 191.55 (-0.01)
61194a 64.43 (+0.01) 64.50 (+0.00) 64.85 (+0.01) 193.78 (+0.01)
70ce01 63.88 (-0.01) 64.39 (-0.01) 64.01 (-0.00) 192.29 (-0.01)
c04c20 64.29 (+0.00) 64.99 (+0.01) 64.02 (-0.00) 193.31 (+0.00)
827ee1 64.15 (+0.01) 64.06 (+0.01) 64.16 (+0.00) 192.38 (+0.01)
22ae67 63.73 (-0.03) 63.36 (-0.01) 63.95 (+0.00) 191.05 (-0.01)
0f4458 65.49 (+0.02) 64.23 (+0.00) 63.78 (-0.03) 193.50 (-0.00)
0f4458 64.21 (-0.00) 64.21 (+0.01) 65.43 (+0.02) 193.84 (+0.01)
0f4458 64.52 (+0.00) 63.68 (-0.00) 63.85 (-0.02) 192.05 (-0.01)
b8a566 64.38 (-0.03) 63.76 (+0.00) 64.96 (+0.02) 193.10 (-0.00)
b8a566 66.16 (+0.11) 63.67 (+0.07) 63.86 (+0.07) 193.69 (+0.08)
9747e9 59.86 (-0.04) 59.52 (-0.04) 59.42 (-0.06) 178.81 (-0.05)
b50e07 62.67 (-0.03) 62.31 (-0.02) 63.08 (+0.01) 188.06 (-0.01)
6a57d5 64.68 (+0.01) 63.59 (-0.00) 62.20 (-0.04) 190.48 (-0.01)
c0480f 64.08 (+0.01) 63.66 (+0.02) 64.72 (+0.04) 192.47 (+0.02)
4f443c 63.37 (+0.02) 62.37 (-0.00) 62.46 (+0.00) 188.21 (+0.01)
4f443c 61.95 (-0.03) 62.64 (-0.02) 62.37 (-0.01) 186.97 (-0.02)
788823 63.84 (+0.01) 63.84 (+0.01) 62.83 (-0.01) 190.51 (+0.00)
c21104 63.35 (+0.00) 63.36 (-0.00) 63.17 (+0.01) 189.88 (+0.00)
b9544a 63.28 (-0.02) 63.52 (+0.01) 62.25 (-0.01) 189.05 (-0.01)
33834c 64.46 (+0.03) 62.73 (-0.01) 62.93 (-0.01) 190.12 (+0.00)
521667 62.65 (-0.01) 63.63 (+0.03) 63.33 (+0.02) 189.61 (+0.01)
361648 63.26 (-0.01) 61.97 (-0.04) 62.24 (-0.03) 187.47 (-0.03)
fc0629 63.79 64.68 64.19 192.66

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query18]

platform: rds-postgres

revision Q18/1 Q18/2 Q18/3 total_duration
41aa62 70.69 (-0.00) 71.52 (+0.00) 70.95 (+0.01) 213.16 (+0.00)
7b5489 70.97 (-0.00) 71.24 (-0.00) 70.26 (-0.02) 212.47 (-0.01)
a23b07 71.04 (+0.00) 71.44 (+0.01) 71.58 (+0.01) 214.05 (+0.01)
cc2d00 70.80 (+0.01) 70.88 (-0.00) 70.78 (+0.01) 212.45 (+0.00)
ba9df2 70.37 (-0.01) 71.02 (+0.01) 70.26 (-0.01) 211.65 (-0.00)
a8f354 70.93 (-0.00) 70.39 (+0.01) 70.72 (+0.01) 212.04 (+0.01)
7feb0d 71.16 (+0.03) 69.57 (+0.01) 70.19 (+0.01) 210.91 (+0.02)
982fce 69.20 (-0.03) 68.84 (-0.02) 69.17 (+0.00) 207.21 (-0.01)
1f151d 71.08 (-0.00) 70.08 (-0.00) 69.03 (-0.01) 210.18 (-0.00)
ff1a1a 71.17 (+0.01) 70.19 (+0.01) 69.75 (+0.01) 211.12 (+0.01)
b1477b 70.65 (-0.01) 69.35 (-0.01) 69.05 (-0.02) 209.06 (-0.01)
1b947f 71.10 (+0.02) 70.40 (+0.01) 70.24 (+0.01) 211.74 (+0.02)
a21b55 69.64 (+0.00) 69.38 (-0.00) 69.23 (-0.01) 208.26 (-0.00)
4ba950 69.57 (-0.01) 69.60 (-0.01) 69.98 (-0.01) 209.15 (-0.01)
4e359d 70.27 (-0.01) 70.26 (-0.00) 70.70 (+0.01) 211.24 (-0.00)
3837fc 71.06 (+0.02) 70.38 (+0.01) 70.32 (+0.01) 211.75 (+0.01)
edcf4d 70.00 (-0.00) 69.64 (-0.00) 69.66 (-0.01) 209.31 (-0.00)
411c71 70.24 (-0.00) 69.87 (-0.01) 70.02 (+0.00) 210.13 (-0.00)
854348 70.26 (+0.02) 70.31 (+0.00) 69.84 (+0.01) 210.41 (+0.01)
7ba5c2 69.10 (-0.01) 70.15 (+0.02) 69.05 (+0.00) 208.30 (+0.00)
ebea29 69.94 (+0.01) 68.87 (-0.00) 69.02 (-0.02) 207.82 (-0.01)
22c890 69.45 (-0.01) 69.14 (-0.01) 70.53 (+0.01) 209.11 (-0.00)
f0b2e0 70.51 (+0.01) 69.52 (-0.02) 69.59 (+0.01) 209.62 (+0.00)
dec580 69.63 (-0.00) 70.60 (+0.02) 69.19 (-0.01) 209.43 (+0.00)
dec580 69.77 (-0.00) 69.54 (-0.01) 69.55 (-0.01) 208.87 (-0.01)
b1c2a6 69.86 (-0.00) 70.32 (+0.01) 69.93 (+0.01) 210.11 (+0.01)
931094 70.01 (+0.00) 69.56 (-0.01) 69.42 (-0.02) 208.99 (-0.01)
957acb 69.72 (-0.01) 70.05 (-0.00) 70.57 (-0.00) 210.34 (-0.01)
846532 70.58 (+0.01) 70.27 (+0.00) 70.64 (+0.01) 211.49 (+0.01)
d733bc 69.96 (-0.01) 70.01 (-0.00) 70.04 (-0.01) 210.00 (-0.01)
75ffe3 70.57 (+0.01) 70.21 (+0.01) 70.86 (+0.01) 211.65 (+0.01)
75ffe3 70.08 (-0.00) 69.82 (+0.01) 70.50 (+0.01) 210.40 (+0.01)
bf4623 70.41 (+0.00) 68.90 (-0.01) 69.71 (+0.00) 209.03 (+0.00)
b26c83 70.25 (+0.00) 69.25 (+0.00) 69.45 (-0.01) 208.96 (-0.00)
9d714a 70.00 (-0.01) 69.22 (-0.01) 70.05 (+0.01) 209.28 (-0.00)
6efea4 70.36 (+0.01) 69.98 (-0.00) 69.50 (+0.00) 209.84 (+0.00)
4071ff 69.60 (-0.01) 70.02 (+0.00) 69.42 (-0.00) 209.04 (-0.00)
4071ff 70.43 (+0.01) 69.69 (-0.01) 69.44 (+0.00) 209.55 (+0.00)
870ba4 69.70 (-0.00) 70.19 (-0.01) 69.12 (-0.01) 209.01 (-0.01)
f5ca89 69.91 (-0.01) 70.71 (+0.01) 69.76 (-0.01) 210.38 (-0.00)
8bd565 70.41 (-0.01) 70.12 (-0.00) 70.32 (+0.00) 210.85 (-0.00)
dd22c8 70.88 (+0.01) 70.29 (-0.00) 70.30 (-0.01) 211.47 (+0.00)
299db9 70.13 (-0.01) 70.35 (+0.01) 70.72 (+0.02) 211.20 (+0.01)
93f3f4 70.53 (+0.02) 69.87 (+0.00) 69.33 (-0.01) 209.73 (+0.00)
f6e2e0 69.43 (-0.01) 69.84 (-0.01) 69.73 (-0.01) 209.01 (-0.01)
f6e2e0 70.43 (+0.00) 70.22 (+0.01) 70.57 (+0.01) 211.22 (+0.01)
f6e2e0 70.40 (+0.01) 69.56 (-0.00) 70.17 (+0.01) 210.13 (+0.00)
f1d960 70.03 (+0.00) 69.91 (+0.01) 69.73 (+0.00) 209.67 (+0.00)
4a9279 69.69 (-0.01) 69.41 (-0.01) 69.72 (+0.01) 208.82 (-0.00)
2e4bf7 70.08 (+0.00) 70.26 (+0.01) 69.11 (-0.01) 209.46 (-0.00)
ce8fbb 69.89 (+0.00) 69.49 (-0.00) 70.10 (-0.01) 209.49 (-0.00)
ce8fbb 69.83 (-0.01) 69.75 (-0.00) 70.56 (+0.01) 210.13 (-0.00)
ce8fbb 70.40 (-0.01) 69.83 (-0.01) 70.19 (+0.00) 210.42 (-0.00)
d1a0f2 70.87 (+0.01) 70.36 (+0.00) 69.93 (-0.01) 211.17 (+0.00)
ccf92d 70.07 (-0.00) 70.24 (+0.01) 70.59 (+0.00) 210.90 (+0.00)
02b8e0 70.10 (+0.00) 69.58 (-0.01) 70.51 (-0.00) 210.19 (-0.00)
7b9057 70.10 (+0.00) 70.02 (+0.01) 70.68 (+0.02) 210.79 (+0.01)
9cada8 70.10 (+0.01) 69.59 (-0.01) 69.61 (+0.00) 209.30 (+0.00)
9cada8 69.62 (-0.01) 70.12 (+0.01) 69.29 (-0.00) 209.05 (+0.00)
9cada8 70.24 (-0.00) 69.23 (-0.01) 69.43 (-0.00) 208.90 (-0.01)
a60f68 70.52 (+0.01) 70.19 (-0.00) 69.59 (+0.01) 210.30 (+0.01)
d19c52 69.84 (+0.00) 70.30 (+0.02) 68.61 (-0.01) 208.75 (+0.00)
000eb1 69.50 (-0.02) 68.60 (-0.03) 69.65 (-0.01) 207.75 (-0.02)
000eb1 70.87 (+0.01) 70.73 (+0.01) 70.18 (+0.02) 211.79 (+0.01)
f51b48 70.10 (-0.01) 70.37 (+0.01) 68.84 (-0.01) 209.31 (-0.00)
f51b48 70.84 (+0.03) 69.43 (-0.00) 69.76 (+0.00) 210.03 (+0.01)
f51b48 68.73 (-0.00) 69.62 (-0.01) 69.47 (+0.02) 207.83 (+0.00)
9f906f 69.06 (-0.00) 70.25 (+0.01) 68.19 (-0.03) 207.50 (-0.01)
0692ff 69.11 (-0.01) 69.53 (+0.00) 70.22 (+0.02) 208.86 (+0.00)
2caece 69.79 (+0.00) 69.32 (-0.00) 69.09 (-0.01) 208.20 (-0.00)
bc7d3c 69.65 (+0.01) 69.60 (+0.01) 69.48 (+0.01) 208.74 (+0.01)
2153d2 68.99 (-0.01) 69.23 (-0.01) 68.55 (-0.01) 206.77 (-0.01)
2153d2 69.71 (-0.01) 70.00 (+0.01) 69.04 (-0.00) 208.76 (-0.00)
2153d2 70.28 (-0.00) 69.57 (-0.01) 69.34 (-0.01) 209.19 (-0.01)
a1b062 70.62 (+0.01) 70.22 (+0.02) 70.18 (+0.02) 211.03 (+0.02)
1d9d7c 69.89 (+0.00) 68.79 (-0.01) 69.12 (-0.01) 207.80 (-0.01)
3569c1 69.57 (+0.00) 69.72 (-0.00) 69.82 (+0.02) 209.11 (+0.01)
eaff14 69.44 (-0.01) 69.72 (-0.03) 68.58 (-0.04) 207.74 (-0.03)
f383b4 70.33 (+0.02) 71.64 (+0.05) 71.28 (+0.01) 213.25 (+0.03)
f383b4 68.78 (+0.00) 68.40 (-0.01) 70.26 (+0.00) 207.44 (-0.00)
f383b4 68.76 (-0.00) 69.14 (+0.00) 70.04 (+0.00) 207.94 (+0.00)
a4256b 68.95 (-0.02) 68.87 (+0.00) 69.78 (+0.01) 207.60 (-0.00)
371493 70.08 (+0.01) 68.74 (+0.01) 69.11 (+0.00) 207.93 (+0.01)
c5c143 69.48 (+0.01) 67.96 (-0.01) 68.94 (-0.02) 206.39 (-0.00)
58fa4f 68.98 (-0.01) 68.32 (+0.00) 70.04 (+0.01) 207.34 (+0.00)
121d53 69.48 (-0.01) 68.24 (-0.02) 69.38 (-0.01) 207.10 (-0.01)
121d53 69.94 (+0.02) 69.67 (-0.02) 69.74 (+0.02) 209.36 (+0.01)
ec3a3a 68.90 (+0.00) 70.79 (+0.02) 68.52 (-0.00) 208.21 (+0.01)
96e783 68.73 (-0.03) 69.54 (+0.00) 68.67 (-0.02) 206.93 (-0.01)
567b71 70.72 (+0.02) 69.50 (-0.01) 69.75 (-0.01) 209.97 (-0.00)
847fc5 69.39 (-0.01) 70.55 (-0.00) 70.34 (+0.02) 210.28 (+0.00)
5e08b3 70.10 (+0.00) 70.66 (+0.02) 69.24 (+0.01) 210.00 (+0.01)
4d291d 69.92 (+0.02) 69.18 (-0.01) 68.31 (-0.02) 207.41 (-0.01)
4d291d 68.77 (-0.02) 69.82 (+0.02) 69.99 (+0.00) 208.58 (-0.00)
bf63f1 70.41 (+0.01) 68.79 (-0.00) 69.69 (-0.00) 208.89 (+0.00)
0a0958 69.39 (+0.00) 69.05 (+0.01) 69.76 (+0.02) 208.21 (+0.01)
aabca5 69.33 (+0.01) 68.43 (+0.00) 68.28 (+0.00) 206.04 (+0.00)
a4be54 68.78 (+0.00) 68.29 (-0.02) 68.25 (-0.02) 205.33 (-0.01)
a3d7ad 68.60 (-0.01) 69.37 (+0.01) 69.99 (+0.02) 207.97 (+0.00)
a3d7ad 69.56 (+0.00) 69.02 (+0.01) 68.42 (-0.01) 206.99 (+0.00)
8ba169 69.52 (+0.01) 68.53 (+0.01) 68.86 (-0.02) 206.92 (+0.00)
e5cc2f 69.00 (-0.02) 67.67 (-0.05) 69.92 (-0.01) 206.59 (-0.02)
c6b56d 70.45 (+0.01) 70.88 (+0.04) 70.28 (+0.03) 211.62 (+0.02)
e067cd 69.63 (+0.03) 68.42 (+0.01) 68.43 (-0.00) 206.47 (+0.01)
bce423 67.31 (-0.02) 67.89 (-0.02) 68.77 (-0.02) 203.96 (-0.02)
bce423 69.00 (+0.00) 69.13 (+0.03) 69.99 (+0.03) 208.13 (+0.02)
c28bfd 68.69 (-0.01) 67.16 (-0.02) 68.19 (-0.01) 204.05 (-0.01)
95bf19 69.19 (-0.01) 68.52 (-0.01) 68.73 (-0.01) 206.45 (-0.01)
95bf19 70.16 (+0.03) 69.51 (+0.01) 69.54 (+0.02) 209.21 (+0.02)
080752 67.94 (-0.02) 68.51 (-0.00) 68.47 (-0.01) 204.92 (-0.01)
23d5e2 69.55 (+0.02) 68.51 (-0.02) 69.05 (+0.01) 207.11 (+0.00)
23d5e2 68.26 (-0.03) 69.97 (-0.01) 68.42 (-0.02) 206.65 (-0.02)
8b710b 70.22 (+0.01) 70.60 (+0.02) 69.52 (+0.01) 210.34 (+0.01)
8c6e60 69.42 (+0.01) 69.39 (-0.00) 68.55 (-0.04) 207.36 (-0.01)
10dae7 68.48 (-0.01) 69.70 (+0.02) 71.04 (+0.04) 209.22 (+0.02)
4c4d3d 69.45 (+0.00) 68.31 (-0.02) 68.01 (-0.02) 205.77 (-0.01)
9f94d0 69.30 (+0.01) 70.00 (-0.00) 69.49 (+0.01) 208.79 (+0.00)
9f94d0 68.92 (+0.00) 70.21 (-0.00) 69.08 (-0.03) 208.22 (-0.01)
9f94d0 68.87 (-0.00) 70.23 (+0.03) 71.35 (+0.05) 210.46 (+0.03)
c700c7 68.94 (-0.01) 68.37 (-0.01) 67.97 (-0.02) 205.27 (-0.01)
42c6dd 69.36 (+0.00) 68.84 (-0.02) 69.32 (-0.01) 207.52 (-0.01)
f6bf7b 69.16 (+0.03) 69.94 (+0.02) 69.85 (+0.03) 208.95 (+0.03)
1137b5 67.28 (-0.03) 68.31 (-0.01) 67.83 (-0.01) 203.42 (-0.02)
1468c6 69.10 (-0.01) 69.31 (+0.00) 68.70 (-0.00) 207.11 (-0.00)
1468c6 69.62 (+0.00) 69.01 (-0.02) 69.04 (-0.02) 207.67 (-0.01)
c01f92 69.57 (+0.01) 70.22 (+0.01) 70.50 (+0.03) 210.30 (+0.02)
7ff591 69.02 (+0.00) 69.19 (-0.01) 68.73 (-0.03) 206.94 (-0.01)
5d4774 68.71 (+0.00) 70.02 (+0.01) 70.69 (-0.00) 209.42 (+0.00)
56d8c2 68.52 (+0.01) 69.18 (+0.02) 70.87 (+0.04) 208.57 (+0.03)
12e6f4 67.66 (-0.03) 67.50 (-0.03) 67.93 (-0.04) 203.09 (-0.03)
12e6f4 69.84 (-0.00) 69.69 (-0.00) 70.76 (+0.01) 210.29 (+0.00)
61194a 69.99 (-0.00) 70.02 (-0.00) 69.80 (+0.01) 209.82 (+0.00)
70ce01 70.08 (+0.00) 70.16 (+0.00) 69.05 (-0.01) 209.29 (-0.00)
c04c20 69.83 (-0.01) 69.93 (+0.00) 70.02 (+0.01) 209.79 (-0.00)
827ee1 70.83 (+0.02) 69.90 (+0.01) 69.42 (+0.01) 210.15 (+0.01)
22ae67 69.57 (-0.02) 69.05 (-0.03) 68.99 (-0.02) 207.62 (-0.02)
0f4458 70.77 (-0.00) 71.28 (+0.01) 70.58 (-0.00) 212.63 (+0.00)
0f4458 70.85 (-0.00) 70.63 (+0.01) 70.83 (+0.02) 212.31 (+0.01)
0f4458 71.03 (+0.01) 69.87 (-0.01) 69.38 (-0.01) 210.28 (-0.01)
b8a566 70.48 (+0.01) 70.82 (+0.01) 70.40 (+0.01) 211.70 (+0.01)
b8a566 69.96 (+0.07) 70.46 (+0.08) 69.78 (+0.08) 210.20 (+0.08)
9747e9 65.21 (-0.06) 65.46 (-0.04) 64.67 (-0.03) 195.34 (-0.04)
b50e07 69.67 (-0.00) 68.03 (-0.01) 66.61 (-0.04) 204.31 (-0.02)
6a57d5 69.73 (+0.01) 68.98 (-0.02) 69.53 (-0.01) 208.25 (-0.01)
c0480f 68.87 (+0.02) 70.64 (+0.05) 70.48 (+0.05) 209.99 (+0.04)
4f443c 67.36 (-0.00) 67.23 (-0.01) 67.00 (-0.01) 201.59 (-0.01)
4f443c 67.62 (-0.02) 68.00 (-0.02) 67.37 (-0.02) 202.99 (-0.02)
788823 68.69 (-0.00) 69.43 (+0.01) 68.87 (-0.01) 206.99 (-0.00)
c21104 68.95 (+0.01) 68.97 (+0.01) 69.74 (+0.02) 207.66 (+0.01)
b9544a 68.05 (+0.00) 68.23 (-0.00) 68.46 (+0.01) 204.74 (+0.00)
33834c 67.90 (-0.01) 68.42 (-0.00) 67.92 (-0.00) 204.24 (-0.00)
521667 68.25 (+0.01) 68.54 (+0.00) 68.19 (+0.00) 204.99 (+0.01)
361648 67.60 (-0.04) 68.20 (-0.04) 68.07 (-0.04) 203.87 (-0.04)
fc0629 70.32 70.90 70.77 211.99

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query19]

platform: rds-postgres

revision Q19/1 Q19/2 Q19/3 total_duration
41aa62 0.79 (-0.05) 0.79 (-0.00) 0.81 (-0.00) 2.40 (-0.01)
7b5489 0.83 (+0.03) 0.79 (-0.05) 0.81 (+0.00) 2.44 (-0.00)
a23b07 0.81 (+0.01) 0.83 (+0.05) 0.81 (+0.01) 2.45 (+0.02)
cc2d00 0.80 (-0.02) 0.79 (-0.02) 0.81 (+0.00) 2.40 (-0.01)
ba9df2 0.81 (+0.00) 0.81 (+0.01) 0.81 (+0.00) 2.43 (+0.00)
a8f354 0.81 (+0.01) 0.80 (-0.01) 0.81 (+0.00) 2.42 (-0.00)
7feb0d 0.81 (-0.02) 0.81 (-0.01) 0.81 (-0.01) 2.42 (-0.02)
982fce 0.83 (+0.01) 0.82 (-0.00) 0.82 (-0.00) 2.47 (-0.00)
1f151d 0.82 (-0.01) 0.82 (-0.03) 0.82 (-0.01) 2.47 (-0.01)
ff1a1a 0.83 (-0.03) 0.85 (-0.03) 0.83 (+0.01) 2.50 (-0.02)
b1477b 0.86 (+0.04) 0.88 (+0.07) 0.82 (-0.05) 2.56 (+0.02)
1b947f 0.83 (+0.01) 0.82 (-0.04) 0.86 (+0.05) 2.51 (+0.00)
a21b55 0.82 (-0.01) 0.86 (+0.05) 0.82 (-0.02) 2.51 (+0.01)
4ba950 0.83 (+0.00) 0.82 (-0.01) 0.83 (+0.01) 2.48 (+0.00)
4e359d 0.83 (+0.02) 0.83 (+0.01) 0.82 (+0.00) 2.47 (+0.01)
3837fc 0.82 (-0.00) 0.82 (-0.00) 0.82 (-0.00) 2.45 (-0.01)
edcf4d 0.82 (-0.00) 0.82 (+0.00) 0.82 (-0.01) 2.47 (-0.00)
411c71 0.82 (-0.00) 0.82 (-0.00) 0.83 (+0.01) 2.47 (+0.00)
854348 0.82 (-0.00) 0.82 (-0.06) 0.82 (+0.00) 2.47 (-0.02)
7ba5c2 0.82 (+0.00) 0.88 (+0.07) 0.82 (-0.00) 2.52 (+0.02)
ebea29 0.82 (+0.01) 0.82 (-0.12) 0.82 (+0.01) 2.47 (-0.03)
22c890 0.81 (-0.01) 0.94 (+0.15) 0.81 (-0.00) 2.56 (+0.05)
f0b2e0 0.82 (+0.01) 0.82 (-0.06) 0.81 (-0.03) 2.44 (-0.03)
dec580 0.81 (-0.00) 0.87 (+0.06) 0.84 (+0.04) 2.52 (+0.03)
dec580 0.81 (-0.17) 0.82 (+0.00) 0.81 (-0.01) 2.44 (-0.07)
b1c2a6 0.98 (+0.21) 0.82 (+0.01) 0.82 (-0.01) 2.62 (+0.07)
931094 0.81 (+0.00) 0.81 (-0.00) 0.83 (+0.03) 2.45 (+0.01)
957acb 0.81 (+0.00) 0.81 (+0.00) 0.81 (+0.00) 2.43 (+0.00)
846532 0.81 (+0.00) 0.81 (-0.01) 0.81 (-0.01) 2.42 (-0.01)
d733bc 0.81 (+0.00) 0.82 (-0.01) 0.82 (-0.00) 2.44 (-0.01)
75ffe3 0.81 (-0.18) 0.83 (+0.01) 0.82 (+0.00) 2.47 (-0.06)
75ffe3 0.99 (+0.21) 0.82 (+0.01) 0.82 (+0.01) 2.63 (+0.08)
bf4623 0.82 (-0.10) 0.81 (+0.01) 0.81 (-0.00) 2.44 (-0.03)
b26c83 0.91 (+0.12) 0.80 (-0.01) 0.81 (-0.01) 2.53 (+0.04)
9d714a 0.81 (-0.01) 0.81 (-0.00) 0.82 (+0.01) 2.44 (-0.00)
6efea4 0.82 (+0.02) 0.81 (-0.01) 0.81 (+0.02) 2.44 (+0.01)
4071ff 0.80 (-0.01) 0.82 (+0.01) 0.80 (-0.02) 2.42 (-0.01)
4071ff 0.81 (-0.01) 0.81 (-0.02) 0.81 (-0.18) 2.44 (-0.07)
870ba4 0.81 (+0.00) 0.83 (+0.01) 0.99 (+0.23) 2.63 (+0.08)
f5ca89 0.81 (+0.00) 0.82 (+0.02) 0.81 (-0.00) 2.44 (+0.00)
8bd565 0.81 (+0.00) 0.81 (+0.00) 0.81 (-0.00) 2.43 (-0.00)
dd22c8 0.81 (-0.00) 0.81 (-0.00) 0.81 (-0.00) 2.43 (-0.00)
299db9 0.81 (-0.01) 0.81 (-0.08) 0.81 (-0.00) 2.44 (-0.03)
93f3f4 0.82 (-0.04) 0.88 (+0.08) 0.81 (-0.00) 2.51 (+0.01)
f6e2e0 0.85 (+0.04) 0.82 (-0.00) 0.81 (-0.02) 2.48 (+0.01)
f6e2e0 0.82 (+0.01) 0.82 (+0.01) 0.82 (+0.01) 2.46 (+0.01)
f6e2e0 0.81 (+0.00) 0.81 (-0.00) 0.81 (-0.01) 2.43 (-0.00)
f1d960 0.81 (-0.00) 0.81 (+0.00) 0.82 (-0.01) 2.44 (-0.00)
4a9279 0.81 (+0.00) 0.81 (-0.04) 0.82 (-0.05) 2.45 (-0.03)
2e4bf7 0.81 (-0.01) 0.85 (+0.04) 0.87 (+0.07) 2.52 (+0.03)
ce8fbb 0.82 (+0.01) 0.81 (+0.00) 0.81 (-0.00) 2.45 (+0.01)
ce8fbb 0.81 (-0.01) 0.81 (-0.07) 0.81 (-0.01) 2.43 (-0.03)
ce8fbb 0.82 (+0.01) 0.87 (+0.07) 0.81 (-0.06) 2.51 (+0.01)
d1a0f2 0.81 (-0.02) 0.81 (-0.00) 0.86 (+0.06) 2.49 (+0.01)
ccf92d 0.83 (+0.01) 0.81 (-0.01) 0.81 (-0.01) 2.45 (-0.00)
02b8e0 0.82 (-0.00) 0.82 (-0.00) 0.82 (-0.01) 2.46 (-0.00)
7b9057 0.82 (-0.00) 0.82 (+0.00) 0.82 (+0.00) 2.47 (+0.00)
9cada8 0.82 (+0.00) 0.82 (+0.00) 0.82 (+0.01) 2.46 (+0.00)
9cada8 0.82 (+0.01) 0.82 (+0.01) 0.81 (-0.01) 2.45 (+0.00)
9cada8 0.81 (-0.06) 0.81 (-0.13) 0.82 (-0.12) 2.44 (-0.11)
a60f68 0.87 (+0.07) 0.93 (+0.14) 0.93 (+0.14) 2.73 (+0.12)
d19c52 0.81 (-0.01) 0.81 (-0.18) 0.81 (-0.07) 2.44 (-0.09)
000eb1 0.81 (+0.00) 0.98 (+0.20) 0.87 (+0.03) 2.67 (+0.08)
000eb1 0.81 (-0.01) 0.81 (-0.03) 0.84 (+0.03) 2.47 (-0.00)
f51b48 0.82 (+0.00) 0.84 (+0.03) 0.82 (-0.00) 2.47 (+0.01)
f51b48 0.82 (-0.00) 0.81 (-0.01) 0.82 (-0.04) 2.45 (-0.02)
f51b48 0.82 (+0.01) 0.82 (+0.01) 0.86 (+0.06) 2.50 (+0.02)
9f906f 0.81 (-0.06) 0.81 (-0.07) 0.81 (-0.07) 2.44 (-0.07)
0692ff 0.86 (+0.05) 0.87 (+0.08) 0.87 (+0.08) 2.61 (+0.07)
2caece 0.82 (+0.00) 0.81 (-0.02) 0.81 (-0.01) 2.43 (-0.01)
bc7d3c 0.82 (+0.01) 0.83 (+0.02) 0.82 (+0.01) 2.46 (+0.01)
2153d2 0.81 (-0.00) 0.81 (+0.00) 0.81 (-0.02) 2.43 (-0.01)
2153d2 0.81 (+0.00) 0.81 (-0.02) 0.83 (+0.02) 2.45 (+0.00)
2153d2 0.81 (-0.01) 0.82 (+0.01) 0.81 (-0.00) 2.45 (+0.00)
a1b062 0.82 (+0.00) 0.81 (-0.03) 0.81 (-0.01) 2.45 (-0.01)
1d9d7c 0.82 (+0.01) 0.84 (-0.12) 0.82 (-0.08) 2.48 (-0.07)
3569c1 0.81 (-0.01) 0.96 (+0.17) 0.89 (+0.09) 2.66 (+0.08)
eaff14 0.82 (+0.01) 0.82 (-0.05) 0.82 (-0.19) 2.46 (-0.09)
f383b4 0.81 (-0.00) 0.87 (+0.07) 1.02 (+0.23) 2.70 (+0.10)
f383b4 0.81 (+0.00) 0.81 (+0.00) 0.83 (+0.03) 2.45 (+0.01)
f383b4 0.81 (-0.01) 0.81 (+0.00) 0.81 (-0.00) 2.42 (-0.01)
a4256b 0.82 (+0.01) 0.81 (-0.00) 0.81 (-0.00) 2.44 (+0.00)
371493 0.81 (-0.08) 0.81 (+0.00) 0.81 (+0.00) 2.43 (-0.03)
c5c143 0.88 (+0.08) 0.81 (-0.00) 0.81 (+0.00) 2.50 (+0.02)
58fa4f 0.82 (+0.01) 0.81 (-0.00) 0.81 (-0.12) 2.44 (-0.04)
121d53 0.81 (-0.00) 0.81 (-0.00) 0.92 (+0.13) 2.55 (+0.05)
121d53 0.81 (-0.00) 0.81 (-0.00) 0.81 (-0.00) 2.44 (+0.00)
ec3a3a 0.81 (-0.01) 0.81 (-0.08) 0.81 (-0.00) 2.43 (-0.03)
96e783 0.82 (+0.01) 0.88 (+0.08) 0.81 (+0.00) 2.52 (+0.03)
567b71 0.81 (-0.09) 0.82 (+0.01) 0.81 (-0.00) 2.44 (-0.03)
847fc5 0.89 (+0.09) 0.81 (+0.00) 0.81 (-0.01) 2.51 (+0.03)
5e08b3 0.82 (+0.01) 0.81 (-0.00) 0.81 (-0.01) 2.44 (-0.00)
4d291d 0.81 (-0.03) 0.81 (-0.01) 0.82 (-0.04) 2.44 (-0.03)
4d291d 0.84 (+0.03) 0.81 (-0.01) 0.86 (+0.05) 2.51 (+0.02)
bf63f1 0.82 (+0.01) 0.82 (-0.19) 0.82 (-0.03) 2.46 (-0.08)
0a0958 0.81 (+0.01) 1.01 (+0.26) 0.85 (+0.04) 2.67 (+0.10)
aabca5 0.80 (+0.01) 0.80 (+0.00) 0.82 (+0.02) 2.42 (+0.01)
a4be54 0.79 (-0.02) 0.80 (+0.01) 0.81 (+0.00) 2.40 (-0.00)
a3d7ad 0.80 (-0.14) 0.79 (-0.01) 0.81 (+0.02) 2.40 (-0.05)
a3d7ad 0.93 (+0.06) 0.80 (-0.00) 0.80 (-0.00) 2.52 (+0.01)
8ba169 0.88 (+0.09) 0.80 (-0.01) 0.80 (-0.02) 2.49 (+0.02)
e5cc2f 0.81 (-0.01) 0.81 (+0.02) 0.82 (-0.12) 2.44 (-0.04)
c6b56d 0.81 (+0.02) 0.80 (+0.01) 0.93 (+0.16) 2.55 (+0.07)
e067cd 0.80 (-0.01) 0.79 (-0.01) 0.80 (+0.01) 2.39 (-0.01)
bce423 0.81 (+0.01) 0.80 (-0.00) 0.79 (-0.01) 2.40 (-0.00)
bce423 0.80 (-0.01) 0.80 (-0.00) 0.80 (-0.00) 2.40 (-0.00)
c28bfd 0.81 (-0.07) 0.80 (-0.00) 0.80 (+0.00) 2.41 (-0.02)
95bf19 0.87 (+0.03) 0.80 (-0.01) 0.80 (+0.00) 2.47 (+0.01)
95bf19 0.85 (+0.06) 0.81 (-0.00) 0.80 (-0.02) 2.46 (+0.01)
080752 0.80 (+0.00) 0.81 (-0.06) 0.81 (+0.01) 2.42 (-0.02)
23d5e2 0.80 (-0.01) 0.86 (+0.07) 0.80 (-0.12) 2.46 (-0.02)
23d5e2 0.81 (+0.01) 0.80 (+0.01) 0.91 (+0.13) 2.52 (+0.05)
8b710b 0.80 (-0.02) 0.79 (-0.02) 0.80 (+0.01) 2.40 (-0.01)
8c6e60 0.82 (+0.02) 0.81 (-0.01) 0.80 (+0.00) 2.42 (+0.00)
10dae7 0.80 (-0.00) 0.81 (+0.02) 0.80 (+0.01) 2.42 (+0.01)
4c4d3d 0.80 (+0.01) 0.80 (+0.01) 0.79 (-0.01) 2.39 (+0.00)
9f94d0 0.80 (-0.00) 0.79 (-0.04) 0.80 (-0.07) 2.38 (-0.04)
9f94d0 0.80 (-0.01) 0.83 (+0.04) 0.86 (+0.01) 2.49 (+0.01)
9f94d0 0.81 (+0.00) 0.80 (-0.01) 0.85 (+0.05) 2.47 (+0.02)
c700c7 0.81 (-0.03) 0.80 (-0.01) 0.81 (+0.03) 2.42 (-0.00)
42c6dd 0.83 (+0.04) 0.81 (-0.03) 0.79 (-0.01) 2.43 (-0.00)
f6bf7b 0.80 (-0.01) 0.83 (+0.05) 0.80 (+0.00) 2.43 (+0.01)
1137b5 0.81 (+0.01) 0.79 (-0.01) 0.80 (+0.01) 2.41 (+0.01)
1468c6 0.80 (-0.00) 0.79 (-0.02) 0.79 (-0.02) 2.39 (-0.01)
1468c6 0.80 (-0.00) 0.81 (-0.01) 0.81 (+0.01) 2.42 (-0.00)
c01f92 0.80 (-0.01) 0.82 (+0.01) 0.81 (-0.00) 2.42 (-0.00)
7ff591 0.81 (+0.01) 0.81 (+0.01) 0.81 (-0.00) 2.43 (+0.00)
5d4774 0.80 (+0.00) 0.80 (-0.02) 0.81 (+0.02) 2.42 (+0.00)
56d8c2 0.80 (-0.07) 0.82 (-0.05) 0.80 (+0.02) 2.41 (-0.04)
12e6f4 0.86 (+0.07) 0.87 (+0.07) 0.79 (-0.02) 2.52 (+0.04)
12e6f4 0.80 (-0.00) 0.81 (+0.01) 0.81 (+0.00) 2.42 (+0.00)
61194a 0.80 (-0.01) 0.80 (-0.01) 0.81 (+0.00) 2.41 (-0.01)
70ce01 0.81 (-0.00) 0.81 (-0.09) 0.81 (+0.01) 2.43 (-0.03)
c04c20 0.81 (+0.01) 0.89 (+0.08) 0.80 (+0.01) 2.51 (+0.04)
827ee1 0.80 (-0.02) 0.82 (+0.00) 0.80 (-0.03) 2.42 (-0.02)
22ae67 0.82 (+0.02) 0.82 (+0.02) 0.82 (-0.03) 2.46 (+0.00)
0f4458 0.80 (+0.00) 0.80 (+0.00) 0.85 (+0.07) 2.45 (+0.02)
0f4458 0.80 (-0.00) 0.80 (+0.01) 0.79 (-0.01) 2.39 (-0.00)
0f4458 0.80 (-0.00) 0.79 (-0.03) 0.80 (-0.01) 2.40 (-0.01)
b8a566 0.80 (+0.01) 0.81 (+0.01) 0.81 (-0.15) 2.43 (-0.05)
b8a566 0.80 (+0.01) 0.81 (+0.01) 0.95 (+0.21) 2.55 (+0.07)
9747e9 0.79 (+0.84) 0.81 (+1.09) 0.79 (+0.98) 2.39 (+0.96)
b50e07 0.43 (-0.70) 0.39 (-0.05) 0.40 (+0.01) 1.22 (-0.45)
6a57d5 1.41 (+2.69) 0.41 (-0.04) 0.40 (-0.03) 2.22 (+0.81)
c0480f 0.38 (+0.00) 0.43 (+0.10) 0.41 (+0.02) 1.22 (+0.04)
4f443c 0.38 (-0.01) 0.39 (+0.07) 0.40 (+0.01) 1.18 (+0.03)
4f443c 0.39 (-0.03) 0.37 (-0.03) 0.39 (+0.01) 1.15 (-0.02)
788823 0.40 (+0.00) 0.38 (-0.03) 0.39 (-0.03) 1.17 (-0.02)
c21104 0.40 (+0.06) 0.39 (+0.01) 0.40 (+0.02) 1.19 (+0.03)
b9544a 0.38 (-0.05) 0.38 (-0.04) 0.39 (-0.01) 1.16 (-0.03)
33834c 0.40 (+0.03) 0.40 (-0.33) 0.39 (-0.10) 1.19 (-0.16)
521667 0.39 (-0.01) 0.60 (+0.51) 0.43 (+0.04) 1.42 (+0.17)
361648 0.39 (+0.00) 0.40 (-0.30) 0.42 (-0.01) 1.21 (-0.12)
fc0629 0.39 0.57 0.42 1.38

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query20]

platform: rds-postgres

revision Q20/1 Q20/2 Q20/3 total_duration
41aa62 53.35 (-0.01) 53.63 (-0.00) 53.63 (-0.00) 160.61 (-0.01)
7b5489 54.02 (+0.01) 53.82 (-0.01) 53.80 (+0.00) 161.65 (+0.00)
a23b07 53.38 (-0.01) 54.18 (+0.01) 53.66 (-0.00) 161.22 (-0.00)
cc2d00 53.90 (+0.01) 53.69 (+0.00) 53.68 (+0.00) 161.27 (+0.01)
ba9df2 53.20 (-0.01) 53.50 (-0.00) 53.50 (-0.00) 160.20 (-0.01)
a8f354 53.91 (+0.01) 53.71 (-0.00) 53.70 (-0.01) 161.32 (-0.00)
7feb0d 53.57 (+0.02) 53.87 (+0.02) 54.39 (+0.03) 161.84 (+0.02)
982fce 52.58 (-0.00) 52.86 (-0.00) 52.85 (-0.01) 158.29 (-0.01)
1f151d 52.67 (-0.01) 52.96 (-0.01) 53.47 (-0.01) 159.11 (-0.01)
ff1a1a 52.97 (+0.01) 53.26 (+0.01) 53.77 (+0.01) 160.01 (+0.01)
b1477b 52.60 (-0.01) 52.88 (-0.01) 53.39 (+0.00) 158.87 (-0.01)
1b947f 52.88 (+0.02) 53.66 (+0.02) 53.15 (+0.02) 159.70 (+0.02)
a21b55 51.98 (-0.00) 52.78 (+0.01) 52.26 (-0.00) 157.03 (-0.00)
4ba950 52.22 (-0.01) 52.48 (-0.01) 52.49 (-0.01) 157.20 (-0.01)
4e359d 52.80 (-0.00) 53.09 (-0.01) 53.08 (-0.00) 158.98 (-0.01)
3837fc 53.00 (+0.01) 53.76 (+0.01) 53.25 (+0.01) 160.01 (+0.01)
edcf4d 52.42 (-0.01) 53.23 (+0.00) 52.74 (-0.01) 158.39 (-0.00)
411c71 52.80 (-0.02) 53.09 (-0.01) 53.09 (-0.01) 158.99 (-0.01)
854348 53.63 (+0.02) 53.39 (+0.02) 53.38 (+0.02) 160.40 (+0.02)
7ba5c2 52.79 (+0.00) 52.58 (-0.01) 52.59 (-0.01) 157.96 (-0.01)
ebea29 52.58 (-0.00) 52.87 (-0.00) 53.38 (+0.01) 158.83 (-0.00)
22c890 52.75 (-0.01) 53.06 (-0.01) 53.04 (-0.02) 158.85 (-0.01)
f0b2e0 53.26 (+0.00) 53.54 (+0.00) 54.05 (+0.01) 160.86 (+0.01)
dec580 53.13 (+0.00) 53.44 (+0.00) 53.43 (+0.00) 160.00 (+0.00)
dec580 53.01 (-0.01) 53.31 (-0.01) 53.30 (-0.01) 159.62 (-0.01)
b1c2a6 53.69 (+0.01) 54.00 (-0.00) 53.99 (+0.01) 161.69 (+0.00)
931094 53.40 (-0.01) 54.21 (+0.00) 53.70 (-0.01) 161.31 (-0.00)
957acb 53.72 (+0.00) 54.02 (+0.00) 54.01 (+0.00) 161.75 (+0.00)
846532 53.63 (+0.00) 53.93 (+0.00) 53.92 (+0.00) 161.48 (+0.00)
d733bc 53.40 (-0.01) 53.68 (-0.01) 53.67 (-0.01) 160.75 (-0.01)
75ffe3 53.73 (+0.00) 54.02 (+0.01) 54.01 (+0.01) 161.76 (+0.01)
75ffe3 53.54 (+0.01) 53.33 (-0.00) 53.30 (-0.01) 160.18 (-0.00)
bf4623 53.03 (+0.00) 53.33 (+0.00) 53.84 (-0.00) 160.20 (+0.00)
b26c83 53.02 (-0.00) 53.32 (-0.00) 53.84 (+0.01) 160.18 (+0.00)
9d714a 53.07 (-0.00) 53.37 (-0.00) 53.36 (-0.01) 159.81 (-0.00)
6efea4 53.11 (+0.01) 53.39 (+0.01) 53.91 (+0.02) 160.41 (+0.02)
4071ff 52.47 (-0.02) 52.78 (-0.01) 52.78 (-0.02) 158.03 (-0.02)
4071ff 53.28 (+0.00) 53.58 (+0.00) 54.08 (+0.01) 160.94 (+0.00)
870ba4 53.28 (-0.00) 53.57 (-0.00) 53.56 (-0.00) 160.41 (-0.00)
f5ca89 53.33 (-0.02) 53.59 (-0.01) 53.59 (-0.01) 160.51 (-0.01)
8bd565 54.27 (+0.02) 53.99 (-0.00) 53.98 (+0.01) 162.24 (+0.01)
dd22c8 53.26 (-0.02) 54.00 (+0.00) 53.49 (-0.01) 160.76 (-0.01)
299db9 54.16 (+0.01) 53.95 (+0.01) 53.94 (+0.01) 162.04 (+0.01)
93f3f4 53.78 (+0.02) 53.56 (+0.01) 53.55 (+0.01) 160.89 (+0.01)
f6e2e0 52.66 (-0.02) 52.94 (-0.01) 52.94 (-0.01) 158.54 (-0.01)
f6e2e0 53.69 (-0.00) 53.45 (-0.00) 53.44 (-0.00) 160.58 (-0.00)
f6e2e0 53.82 (-0.00) 53.61 (-0.00) 53.60 (-0.00) 161.02 (-0.00)
f1d960 53.95 (-0.00) 53.74 (-0.00) 53.74 (-0.00) 161.42 (-0.00)
4a9279 54.20 (+0.01) 53.98 (+0.01) 53.97 (+0.01) 162.15 (+0.01)
2e4bf7 53.63 (-0.00) 53.43 (-0.00) 53.41 (-0.00) 160.46 (-0.00)
ce8fbb 53.76 (+0.01) 53.52 (+0.00) 53.53 (+0.00) 160.81 (+0.00)
ce8fbb 53.16 (-0.01) 53.45 (-0.00) 53.44 (-0.00) 160.04 (-0.00)
ce8fbb 53.68 (+0.00) 53.47 (-0.01) 53.45 (-0.02) 160.61 (-0.01)
d1a0f2 53.59 (+0.00) 53.89 (+0.01) 54.40 (+0.02) 161.89 (+0.01)
ccf92d 53.32 (-0.00) 53.62 (-0.00) 53.60 (-0.00) 160.54 (-0.00)
02b8e0 53.43 (-0.00) 53.73 (-0.00) 53.72 (-0.00) 160.89 (-0.00)
7b9057 53.70 (-0.00) 53.80 (+0.00) 53.88 (+0.00) 161.37 (+0.00)
9cada8 53.85 (-0.01) 53.64 (-0.01) 53.63 (-0.01) 161.12 (-0.01)
9cada8 54.20 (+0.01) 53.98 (+0.01) 53.96 (+0.01) 162.14 (+0.01)
9cada8 53.69 (+0.01) 53.48 (-0.01) 53.46 (-0.00) 160.64 (-0.00)
a60f68 53.39 (+0.00) 54.14 (+0.01) 53.62 (+0.00) 161.15 (+0.01)
d19c52 53.19 (+0.00) 53.48 (+0.00) 53.48 (+0.00) 160.15 (+0.00)
000eb1 53.07 (-0.01) 53.37 (-0.01) 53.36 (-0.02) 159.80 (-0.01)
000eb1 53.65 (+0.00) 53.95 (-0.01) 54.45 (+0.01) 162.06 (+0.00)
f51b48 53.52 (+0.00) 54.27 (+0.01) 53.74 (-0.01) 161.53 (+0.00)
f51b48 53.42 (+0.00) 53.72 (+0.00) 54.23 (+0.01) 161.36 (+0.00)
f51b48 53.33 (+0.01) 53.63 (+0.01) 53.61 (+0.01) 160.58 (+0.01)
9f906f 52.92 (-0.02) 53.19 (-0.01) 53.19 (-0.01) 159.30 (-0.01)
0692ff 53.74 (+0.01) 53.99 (+0.00) 53.97 (+0.01) 161.70 (+0.01)
2caece 52.97 (-0.00) 53.78 (+0.01) 53.25 (+0.00) 159.99 (+0.00)
bc7d3c 53.22 (-0.01) 53.01 (-0.01) 52.99 (-0.02) 159.22 (-0.01)
2153d2 53.51 (+0.01) 53.81 (+0.01) 54.31 (+0.02) 161.63 (+0.01)
2153d2 53.21 (-0.00) 53.51 (-0.01) 53.49 (-0.00) 160.21 (-0.01)
2153d2 53.31 (-0.01) 54.12 (+0.01) 53.61 (-0.00) 161.04 (-0.00)
a1b062 54.05 (+0.01) 53.79 (-0.00) 53.78 (-0.00) 161.61 (+0.00)
1d9d7c 53.53 (-0.00) 53.82 (-0.00) 53.81 (-0.01) 161.17 (-0.01)
3569c1 53.73 (+0.00) 54.02 (+0.00) 54.53 (+0.01) 162.28 (+0.01)
eaff14 53.58 (-0.00) 53.87 (-0.02) 53.87 (+0.00) 161.33 (-0.01)
f383b4 53.70 (+0.01) 54.78 (+0.02) 53.75 (+0.00) 162.23 (+0.01)
f383b4 53.25 (-0.01) 53.57 (-0.01) 53.56 (-0.01) 160.38 (-0.01)
f383b4 53.54 (-0.01) 53.84 (-0.00) 53.83 (-0.00) 161.22 (-0.01)
a4256b 54.17 (+0.01) 53.95 (+0.01) 53.95 (+0.01) 162.07 (+0.01)
371493 53.85 (+0.02) 53.63 (-0.00) 53.62 (+0.01) 161.10 (+0.01)
c5c143 52.92 (-0.02) 53.73 (+0.00) 53.23 (-0.01) 159.88 (-0.01)
58fa4f 53.76 (+0.01) 53.54 (+0.00) 53.54 (+0.00) 160.85 (+0.01)
121d53 53.07 (-0.01) 53.37 (-0.01) 53.35 (-0.01) 159.79 (-0.01)
121d53 53.65 (+0.01) 53.94 (+0.01) 53.93 (+0.01) 161.52 (+0.01)
ec3a3a 52.86 (-0.00) 53.15 (-0.01) 53.14 (-0.00) 159.16 (-0.01)
96e783 53.01 (-0.00) 53.83 (+0.01) 53.31 (-0.01) 160.16 (-0.00)
567b71 53.12 (+0.00) 53.42 (+0.00) 53.93 (+0.01) 160.48 (+0.00)
847fc5 53.05 (+0.00) 53.33 (+0.00) 53.32 (+0.00) 159.71 (+0.00)
5e08b3 52.98 (+0.01) 53.28 (+0.01) 53.27 (+0.01) 159.53 (+0.01)
4d291d 52.65 (-0.02) 52.80 (-0.02) 52.79 (-0.02) 158.24 (-0.02)
4d291d 53.84 (+0.01) 53.61 (-0.01) 53.61 (-0.00) 161.06 (-0.00)
bf63f1 53.51 (-0.00) 54.33 (+0.01) 53.81 (-0.00) 161.66 (+0.00)
0a0958 53.65 (+0.01) 53.94 (+0.02) 53.93 (+0.02) 161.52 (+0.01)
aabca5 53.32 (+0.02) 53.11 (+0.02) 53.11 (+0.02) 159.54 (+0.02)
a4be54 52.42 (-0.02) 52.20 (-0.03) 52.18 (-0.03) 156.80 (-0.02)
a3d7ad 53.29 (+0.00) 53.58 (+0.00) 53.57 (-0.01) 160.43 (-0.00)
a3d7ad 53.26 (+0.00) 53.56 (+0.00) 54.07 (+0.01) 160.90 (+0.01)
8ba169 53.09 (+0.01) 53.40 (+0.01) 53.39 (+0.01) 159.87 (+0.01)
e5cc2f 52.46 (-0.03) 52.75 (-0.02) 52.75 (-0.02) 157.96 (-0.02)
c6b56d 53.97 (+0.03) 53.74 (+0.02) 53.73 (+0.01) 161.44 (+0.02)
e067cd 52.63 (+0.01) 52.93 (+0.01) 53.45 (+0.02) 159.00 (+0.01)
bce423 52.35 (-0.02) 52.65 (-0.02) 52.65 (-0.02) 157.65 (-0.02)
bce423 53.45 (+0.02) 53.72 (+0.03) 53.72 (+0.03) 160.90 (+0.03)
c28bfd 52.26 (-0.03) 52.01 (-0.04) 52.00 (-0.05) 156.27 (-0.04)
95bf19 53.67 (+0.01) 53.99 (+0.01) 54.48 (+0.02) 162.14 (+0.01)
95bf19 53.34 (+0.01) 53.63 (+0.02) 53.63 (+0.02) 160.61 (+0.02)
080752 52.78 (-0.02) 52.55 (-0.03) 52.55 (-0.04) 157.89 (-0.03)
23d5e2 53.69 (+0.01) 53.98 (+0.01) 54.49 (+0.02) 162.16 (+0.01)
23d5e2 53.22 (+0.00) 53.53 (+0.00) 53.52 (+0.00) 160.27 (+0.00)
8b710b 53.06 (+0.00) 53.36 (+0.00) 53.36 (+0.00) 159.78 (+0.00)
8c6e60 52.99 (-0.01) 53.28 (-0.01) 53.28 (-0.01) 159.55 (-0.01)
10dae7 53.30 (+0.01) 53.61 (+0.01) 53.60 (+0.00) 160.51 (+0.01)
4c4d3d 52.65 (-0.02) 52.96 (-0.02) 53.47 (-0.01) 159.08 (-0.01)
9f94d0 53.52 (+0.00) 53.83 (-0.01) 53.82 (+0.00) 161.17 (-0.00)
9f94d0 53.43 (-0.00) 54.23 (+0.01) 53.72 (-0.00) 161.38 (+0.00)
9f94d0 53.48 (+0.00) 53.74 (+0.01) 53.73 (+0.01) 160.95 (+0.01)
c700c7 53.22 (-0.01) 53.02 (-0.02) 53.01 (-0.02) 159.24 (-0.01)
42c6dd 53.66 (+0.00) 53.99 (+0.01) 53.99 (+0.01) 161.65 (+0.01)
f6bf7b 53.55 (+0.04) 53.35 (+0.02) 53.34 (+0.03) 160.25 (+0.03)
1137b5 51.48 (-0.04) 52.28 (-0.04) 51.77 (-0.04) 155.53 (-0.04)
1468c6 53.68 (+0.00) 54.51 (+0.00) 53.99 (+0.00) 162.17 (+0.00)
1468c6 53.65 (+0.00) 54.47 (+0.01) 53.95 (+0.00) 162.08 (+0.01)
c01f92 53.55 (+0.01) 53.86 (+0.01) 53.85 (+0.01) 161.25 (+0.01)
7ff591 52.79 (-0.02) 53.10 (-0.01) 53.09 (-0.01) 158.99 (-0.02)
5d4774 53.97 (-0.00) 53.75 (-0.00) 53.74 (-0.00) 161.47 (-0.00)
56d8c2 54.17 (+0.04) 53.96 (+0.03) 53.95 (+0.03) 162.09 (+0.04)
12e6f4 51.93 (-0.03) 52.23 (-0.03) 52.23 (-0.03) 156.40 (-0.03)
12e6f4 53.33 (-0.02) 53.62 (-0.01) 53.62 (-0.01) 160.57 (-0.01)
61194a 54.20 (+0.02) 54.00 (+0.01) 53.98 (+0.01) 162.19 (+0.02)
70ce01 53.06 (-0.02) 53.37 (-0.01) 53.36 (-0.01) 159.79 (-0.01)
c04c20 54.21 (+0.01) 53.99 (-0.00) 54.00 (-0.01) 162.20 (+0.00)
827ee1 53.69 (+0.01) 54.00 (+0.01) 54.50 (+0.02) 162.20 (+0.02)
22ae67 52.99 (-0.01) 53.26 (-0.01) 53.27 (-0.01) 159.53 (-0.01)
0f4458 53.70 (+0.00) 54.00 (+0.00) 54.00 (-0.01) 161.71 (-0.00)
0f4458 53.67 (-0.00) 54.00 (-0.00) 54.50 (-0.00) 162.18 (-0.00)
0f4458 53.71 (+0.00) 54.00 (-0.01) 54.51 (+0.01) 162.23 (+0.00)
b8a566 53.71 (+0.00) 54.52 (+0.01) 54.00 (+0.00) 162.22 (+0.00)
b8a566 53.70 (+0.09) 54.00 (+0.10) 53.99 (+0.10) 161.69 (+0.09)
9747e9 49.49 (-0.03) 49.29 (-0.05) 49.27 (-0.06) 148.05 (-0.04)
b50e07 50.94 (-0.03) 51.68 (-0.03) 52.19 (-0.03) 154.80 (-0.03)
6a57d5 52.66 (-0.01) 53.40 (-0.01) 53.90 (+0.00) 159.96 (-0.00)
c0480f 53.08 (+0.04) 53.80 (+0.04) 53.78 (+0.04) 160.67 (+0.04)
4f443c 50.99 (-0.01) 51.68 (+0.00) 51.68 (+0.00) 154.36 (-0.00)
4f443c 51.45 (-0.02) 51.65 (-0.03) 51.64 (-0.03) 154.75 (-0.03)
788823 52.51 (-0.00) 53.21 (-0.00) 53.20 (-0.00) 158.93 (-0.00)
c21104 52.67 (+0.00) 53.38 (+0.01) 53.37 (+0.01) 159.43 (+0.01)
b9544a 52.41 (+0.01) 52.61 (-0.00) 52.59 (-0.00) 157.62 (+0.00)
33834c 51.91 (+0.01) 52.61 (+0.01) 52.60 (+0.01) 157.12 (+0.01)
521667 51.43 (+0.00) 52.15 (+0.01) 52.14 (+0.00) 155.72 (+0.00)
361648 51.23 (-0.04) 51.88 (-0.04) 51.88 (-0.04) 155.00 (-0.04)
fc0629 53.18 53.84 53.84 160.86

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query21]

platform: rds-postgres

revision Q21/1 Q21/2 Q21/3 total_duration
41aa62 53.80 (+0.01) 53.62 (-0.00) 53.61 (-0.00) 161.03 (-0.00)
7b5489 53.46 (+0.00) 53.80 (+0.00) 53.79 (+0.00) 161.05 (+0.00)
a23b07 53.31 (-0.00) 53.64 (-0.00) 53.64 (-0.00) 160.59 (-0.00)
cc2d00 53.35 (-0.01) 53.67 (+0.00) 53.67 (+0.00) 160.69 (+0.00)
ba9df2 53.67 (+0.01) 53.48 (-0.00) 53.47 (-0.00) 160.63 (-0.00)
a8f354 53.35 (-0.00) 53.69 (-0.00) 53.68 (-0.00) 160.72 (-0.00)
7feb0d 53.53 (+0.02) 53.86 (+0.02) 53.85 (+0.01) 161.24 (+0.02)
982fce 52.51 (-0.00) 52.84 (-0.00) 53.35 (+0.01) 158.70 (+0.00)
1f151d 52.62 (-0.01) 52.95 (-0.01) 52.94 (-0.01) 158.51 (-0.01)
ff1a1a 52.92 (+0.01) 53.24 (+0.01) 53.24 (+0.01) 159.40 (+0.01)
b1477b 52.54 (-0.01) 52.86 (-0.01) 52.86 (-0.01) 158.26 (-0.01)
1b947f 52.82 (+0.02) 53.14 (+0.02) 53.16 (+0.02) 159.12 (+0.02)
a21b55 51.92 (-0.00) 52.25 (-0.00) 52.24 (-0.01) 156.41 (-0.01)
4ba950 52.16 (-0.01) 52.47 (-0.01) 52.99 (-0.01) 157.62 (-0.01)
4e359d 52.75 (-0.00) 53.07 (-0.00) 53.59 (+0.01) 159.42 (+0.00)
3837fc 52.91 (+0.01) 53.23 (+0.01) 53.23 (+0.01) 159.37 (+0.01)
edcf4d 52.37 (-0.01) 52.69 (-0.01) 52.69 (-0.02) 157.76 (-0.01)
411c71 52.76 (-0.01) 53.06 (-0.01) 53.59 (+0.00) 159.42 (-0.00)
854348 53.05 (+0.02) 53.37 (+0.02) 53.37 (+0.02) 159.79 (+0.02)
7ba5c2 52.24 (-0.01) 52.57 (-0.00) 52.56 (-0.01) 157.36 (-0.01)
ebea29 52.59 (-0.00) 52.76 (-0.01) 52.89 (-0.00) 158.25 (-0.01)
22c890 52.70 (-0.01) 53.55 (+0.00) 53.03 (-0.01) 159.28 (-0.01)
f0b2e0 53.19 (-0.01) 53.53 (+0.00) 53.51 (+0.00) 160.23 (-0.00)
dec580 53.60 (+0.00) 53.41 (+0.00) 53.41 (+0.00) 160.43 (+0.00)
dec580 53.47 (-0.01) 53.29 (-0.01) 53.28 (-0.01) 160.05 (-0.01)
b1c2a6 54.16 (+0.02) 53.99 (+0.00) 53.97 (+0.01) 162.13 (+0.01)
931094 53.35 (-0.01) 53.86 (-0.01) 53.50 (-0.01) 160.71 (-0.01)
957acb 53.66 (+0.00) 54.51 (+0.00) 54.00 (+0.00) 162.17 (+0.00)
846532 53.57 (+0.00) 54.42 (+0.01) 53.91 (-0.00) 161.90 (+0.00)
d733bc 53.33 (-0.01) 53.66 (-0.01) 54.17 (-0.01) 161.16 (-0.01)
75ffe3 53.68 (+0.01) 54.00 (+0.01) 54.56 (+0.02) 162.23 (+0.02)
75ffe3 52.98 (-0.00) 53.31 (-0.00) 53.29 (-0.00) 159.58 (-0.00)
bf4623 52.99 (+0.00) 53.31 (+0.00) 53.31 (+0.00) 159.61 (+0.00)
b26c83 52.97 (-0.00) 53.31 (-0.00) 53.30 (-0.01) 159.58 (-0.00)
9d714a 53.02 (-0.00) 53.35 (-0.00) 53.86 (+0.01) 160.23 (+0.00)
6efea4 53.04 (+0.00) 53.38 (+0.01) 53.37 (+0.01) 159.79 (+0.01)
4071ff 52.93 (-0.01) 52.77 (-0.01) 52.76 (-0.01) 158.46 (-0.01)
4071ff 53.29 (-0.01) 53.56 (-0.00) 53.56 (+0.00) 160.41 (-0.00)
870ba4 53.74 (+0.01) 53.61 (-0.01) 53.51 (-0.00) 160.85 (-0.00)
f5ca89 53.24 (-0.01) 54.10 (+0.00) 53.56 (-0.01) 160.91 (-0.00)
8bd565 53.65 (+0.01) 53.97 (+0.01) 53.96 (+0.01) 161.58 (+0.01)
dd22c8 53.13 (-0.01) 53.47 (-0.01) 53.46 (-0.01) 160.07 (-0.01)
299db9 53.59 (+0.01) 53.92 (+0.01) 53.91 (+0.01) 161.43 (+0.01)
93f3f4 53.20 (+0.01) 53.53 (+0.01) 53.53 (+0.00) 160.26 (+0.01)
f6e2e0 52.59 (-0.01) 52.92 (-0.01) 53.44 (+0.00) 158.95 (-0.01)
f6e2e0 53.10 (-0.00) 53.43 (-0.00) 53.42 (-0.00) 159.94 (-0.00)
f6e2e0 53.24 (-0.00) 53.59 (-0.00) 53.58 (-0.00) 160.41 (-0.00)
f1d960 53.38 (-0.00) 53.72 (-0.00) 53.71 (-0.01) 160.81 (-0.01)
4a9279 53.62 (+0.01) 53.96 (+0.01) 54.46 (+0.02) 162.04 (+0.01)
2e4bf7 53.06 (-0.00) 53.40 (-0.00) 53.39 (-0.00) 159.85 (-0.00)
ce8fbb 53.18 (+0.00) 53.51 (+0.00) 53.51 (-0.01) 160.20 (-0.00)
ce8fbb 53.10 (-0.00) 53.43 (-0.00) 53.94 (+0.01) 160.46 (+0.00)
ce8fbb 53.12 (-0.01) 53.44 (-0.01) 53.44 (-0.01) 160.00 (-0.01)
d1a0f2 53.54 (+0.01) 53.87 (-0.00) 53.86 (+0.01) 161.28 (+0.00)
ccf92d 53.25 (-0.00) 54.10 (-0.00) 53.59 (-0.00) 160.94 (-0.00)
02b8e0 53.39 (-0.00) 54.22 (-0.00) 53.71 (-0.00) 161.32 (-0.00)
7b9057 53.55 (+0.00) 54.38 (+0.01) 53.87 (+0.00) 161.80 (+0.01)
9cada8 53.30 (-0.01) 53.61 (-0.01) 53.60 (-0.01) 160.51 (-0.01)
9cada8 53.63 (+0.01) 53.95 (+0.01) 53.94 (-0.00) 161.52 (+0.01)
9cada8 53.12 (-0.00) 53.46 (-0.00) 53.96 (+0.01) 160.53 (-0.00)
a60f68 53.34 (+0.00) 53.60 (-0.01) 53.60 (+0.00) 160.54 (-0.00)
d19c52 53.13 (+0.00) 53.98 (+0.01) 53.47 (-0.01) 160.58 (+0.00)
000eb1 53.01 (-0.01) 53.35 (-0.01) 53.85 (-0.00) 160.20 (-0.01)
000eb1 53.60 (+0.00) 53.93 (+0.00) 53.93 (+0.00) 161.46 (+0.00)
f51b48 53.40 (+0.00) 53.73 (+0.00) 53.73 (+0.00) 160.86 (+0.00)
f51b48 53.37 (-0.01) 53.69 (+0.00) 53.69 (+0.00) 160.76 (-0.00)
f51b48 53.80 (+0.02) 53.61 (-0.00) 53.59 (+0.01) 161.00 (+0.01)
9f906f 52.86 (-0.02) 53.69 (-0.02) 53.17 (-0.01) 159.72 (-0.01)
0692ff 53.68 (+0.01) 54.52 (+0.02) 53.92 (+0.01) 162.12 (+0.02)
2caece 52.92 (+0.01) 53.24 (+0.00) 53.23 (+0.00) 159.39 (+0.00)
bc7d3c 52.66 (-0.02) 52.98 (-0.01) 52.98 (-0.01) 158.62 (-0.01)
2153d2 53.47 (-0.00) 53.78 (+0.01) 53.78 (+0.01) 161.03 (+0.00)
2153d2 53.67 (+0.01) 53.48 (-0.00) 53.48 (-0.00) 160.63 (+0.00)
2153d2 53.26 (-0.00) 53.59 (-0.00) 53.59 (-0.00) 160.44 (-0.00)
a1b062 53.47 (-0.00) 53.76 (-0.01) 53.77 (-0.00) 161.00 (-0.00)
1d9d7c 53.48 (-0.00) 54.32 (+0.01) 53.80 (-0.00) 161.60 (-0.00)
3569c1 53.67 (+0.00) 54.01 (-0.01) 54.00 (+0.00) 161.67 (-0.00)
eaff14 53.53 (-0.01) 54.37 (+0.01) 53.85 (-0.00) 161.76 (-0.00)
f383b4 54.17 (+0.02) 53.99 (-0.00) 53.98 (+0.01) 162.14 (+0.01)
f383b4 53.21 (-0.01) 54.07 (+0.00) 53.53 (-0.01) 160.81 (-0.01)
f383b4 53.49 (-0.00) 53.82 (-0.00) 54.33 (+0.01) 161.65 (+0.00)
a4256b 53.62 (+0.01) 53.93 (+0.01) 53.93 (-0.00) 161.47 (+0.00)
371493 53.30 (+0.01) 53.61 (+0.01) 54.12 (+0.02) 161.03 (+0.01)
c5c143 52.86 (-0.01) 53.20 (-0.01) 53.22 (-0.02) 159.29 (-0.01)
58fa4f 53.20 (+0.00) 53.52 (-0.01) 54.04 (+0.01) 160.77 (+0.00)
121d53 53.03 (-0.01) 53.86 (-0.01) 53.35 (-0.01) 160.24 (-0.01)
121d53 53.62 (+0.01) 54.44 (+0.02) 53.92 (+0.01) 161.98 (+0.02)
ec3a3a 53.32 (+0.01) 53.14 (-0.00) 53.12 (-0.00) 159.58 (+0.00)
96e783 52.96 (-0.00) 53.30 (-0.00) 53.29 (-0.00) 159.55 (-0.00)
567b71 53.09 (-0.01) 53.40 (+0.00) 53.40 (+0.00) 159.89 (-0.00)
847fc5 53.50 (+0.00) 53.31 (+0.00) 53.31 (+0.00) 160.12 (+0.00)
5e08b3 53.44 (+0.02) 53.28 (+0.01) 53.25 (-0.00) 159.97 (+0.01)
4d291d 52.45 (-0.02) 52.77 (-0.02) 53.30 (-0.01) 158.53 (-0.02)
4d291d 53.26 (-0.00) 53.59 (-0.00) 54.10 (+0.01) 160.95 (-0.00)
bf63f1 53.46 (-0.00) 53.80 (-0.00) 53.79 (-0.01) 161.05 (-0.01)
0a0958 53.57 (+0.02) 53.92 (+0.02) 54.43 (+0.03) 161.93 (+0.02)
aabca5 52.76 (+0.02) 53.10 (+0.02) 53.08 (+0.02) 158.94 (+0.02)
a4be54 51.83 (-0.03) 52.18 (-0.04) 52.16 (-0.03) 156.17 (-0.03)
a3d7ad 53.21 (+0.00) 54.08 (+0.01) 53.56 (+0.00) 160.85 (+0.00)
a3d7ad 53.20 (+0.00) 53.54 (-0.01) 53.53 (+0.00) 160.28 (-0.00)
8ba169 53.02 (+0.01) 53.89 (+0.01) 53.38 (+0.01) 160.29 (+0.01)
e5cc2f 52.39 (-0.02) 53.26 (-0.01) 52.72 (-0.03) 158.38 (-0.02)
c6b56d 53.38 (+0.02) 53.78 (+0.02) 54.17 (+0.02) 161.33 (+0.02)
e067cd 52.57 (-0.00) 52.92 (+0.01) 52.91 (+0.01) 158.39 (+0.00)
bce423 52.82 (-0.02) 52.64 (-0.02) 52.63 (-0.02) 158.09 (-0.02)
bce423 53.89 (+0.04) 53.71 (+0.03) 53.70 (+0.03) 161.30 (+0.04)
c28bfd 51.66 (-0.04) 51.99 (-0.04) 51.98 (-0.04) 155.63 (-0.04)
95bf19 53.61 (-0.00) 53.96 (+0.01) 53.96 (+0.01) 161.53 (+0.00)
95bf19 53.80 (+0.03) 53.62 (+0.02) 53.62 (+0.02) 161.04 (+0.02)
080752 52.19 (-0.03) 52.53 (-0.03) 52.52 (-0.03) 157.24 (-0.03)
23d5e2 53.66 (+0.01) 53.97 (-0.00) 53.96 (+0.01) 161.59 (+0.01)
23d5e2 53.17 (-0.01) 54.03 (+0.01) 53.50 (+0.00) 160.71 (+0.00)
8b710b 53.53 (+0.01) 53.35 (+0.00) 53.34 (+0.00) 160.22 (+0.00)
8c6e60 53.15 (-0.00) 53.27 (-0.02) 53.26 (-0.01) 159.68 (-0.01)
10dae7 53.24 (+0.01) 54.10 (+0.02) 53.59 (+0.01) 160.94 (+0.02)
4c4d3d 52.61 (-0.03) 52.94 (-0.02) 52.94 (-0.02) 158.50 (-0.02)
9f94d0 53.98 (+0.01) 53.81 (+0.00) 53.80 (+0.00) 161.60 (+0.01)
9f94d0 53.36 (-0.00) 53.70 (-0.00) 53.69 (-0.01) 160.75 (-0.00)
9f94d0 53.38 (+0.01) 53.73 (+0.01) 54.23 (+0.02) 161.33 (+0.02)
c700c7 52.66 (-0.02) 53.00 (-0.02) 52.99 (-0.03) 158.64 (-0.02)
42c6dd 53.63 (+0.01) 53.97 (+0.01) 54.48 (+0.02) 162.08 (+0.02)
f6bf7b 52.99 (+0.03) 53.33 (+0.03) 53.33 (+0.03) 159.65 (+0.03)
1137b5 51.42 (-0.04) 51.75 (-0.04) 51.74 (-0.04) 154.90 (-0.04)
1468c6 53.63 (+0.00) 53.96 (+0.00) 53.96 (+0.00) 161.56 (+0.00)
1468c6 53.60 (+0.00) 53.94 (+0.00) 53.93 (-0.01) 161.47 (-0.00)
c01f92 53.54 (+0.01) 53.84 (+0.01) 54.35 (+0.02) 161.73 (+0.01)
7ff591 53.26 (-0.00) 53.09 (-0.01) 53.06 (-0.01) 159.41 (-0.01)
5d4774 53.39 (-0.00) 53.73 (-0.00) 53.72 (-0.00) 160.84 (-0.00)
56d8c2 53.60 (+0.03) 53.94 (+0.02) 53.94 (+0.03) 161.48 (+0.03)
12e6f4 51.90 (-0.03) 52.74 (-0.02) 52.21 (-0.04) 156.85 (-0.03)
12e6f4 53.27 (-0.01) 53.61 (-0.01) 54.11 (+0.00) 160.99 (-0.00)
61194a 53.63 (+0.00) 53.98 (+0.01) 53.97 (+0.01) 161.58 (+0.01)
70ce01 53.52 (-0.00) 53.36 (-0.01) 53.34 (-0.01) 160.23 (-0.01)
c04c20 53.68 (+0.00) 53.99 (+0.00) 53.96 (-0.00) 161.64 (+0.00)
827ee1 53.65 (+0.01) 53.98 (+0.00) 53.97 (+0.01) 161.60 (+0.01)
22ae67 52.98 (-0.02) 53.73 (-0.00) 53.26 (-0.01) 159.97 (-0.01)
0f4458 54.17 (+0.01) 53.99 (+0.00) 53.98 (+0.00) 162.14 (+0.00)
0f4458 53.64 (+0.00) 53.98 (-0.00) 53.97 (-0.00) 161.59 (-0.00)
0f4458 53.64 (-0.00) 53.98 (+0.00) 53.98 (+0.00) 161.60 (-0.00)
b8a566 53.66 (-0.01) 53.98 (-0.00) 53.98 (+0.00) 161.61 (-0.00)
b8a566 54.16 (+0.11) 53.99 (+0.10) 53.97 (+0.10) 162.12 (+0.10)
9747e9 48.92 (-0.05) 49.26 (-0.05) 49.26 (-0.05) 147.44 (-0.05)
b50e07 51.49 (-0.03) 51.69 (-0.03) 51.61 (-0.03) 154.79 (-0.03)
6a57d5 53.21 (-0.02) 53.38 (-0.01) 53.36 (-0.01) 159.95 (-0.01)
c0480f 54.09 (+0.05) 53.78 (+0.03) 53.77 (+0.04) 161.65 (+0.04)
4f443c 51.49 (+0.00) 52.18 (+0.01) 51.65 (+0.00) 155.33 (+0.00)
4f443c 51.46 (-0.04) 51.63 (-0.03) 51.63 (-0.03) 154.72 (-0.03)
788823 53.52 (+0.01) 53.19 (-0.01) 53.19 (-0.00) 159.90 (-0.00)
c21104 53.17 (+0.01) 53.88 (+0.02) 53.37 (+0.02) 160.42 (+0.02)
b9544a 52.40 (-0.00) 52.59 (-0.01) 52.58 (-0.00) 157.58 (-0.00)
33834c 52.41 (+0.01) 53.11 (+0.02) 52.58 (-0.00) 158.10 (+0.01)
521667 51.94 (+0.01) 52.13 (-0.00) 52.64 (+0.01) 156.71 (+0.00)
361648 51.68 (-0.04) 52.38 (-0.03) 51.87 (-0.05) 155.93 (-0.04)
fc0629 53.63 53.82 54.34 161.80

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query22]

platform: rds-postgres

revision Q22/1 Q22/2 Q22/3 total_duration
41aa62 53.28 (-0.01) 53.60 (-0.00) 54.10 (+0.01) 160.98 (-0.00)
7b5489 53.96 (+0.00) 53.78 (+0.00) 53.77 (+0.00) 161.52 (+0.00)
a23b07 53.81 (-0.00) 53.63 (-0.00) 53.62 (-0.00) 161.07 (-0.00)
cc2d00 53.85 (+0.01) 53.66 (+0.00) 53.67 (+0.00) 161.18 (+0.01)
ba9df2 53.15 (-0.01) 53.46 (-0.00) 53.46 (-0.00) 160.07 (-0.01)
a8f354 53.87 (+0.01) 53.67 (-0.01) 53.66 (-0.00) 161.19 (-0.00)
7feb0d 53.52 (+0.02) 54.35 (+0.03) 53.84 (+0.02) 161.71 (+0.02)
982fce 52.52 (-0.00) 52.81 (-0.01) 52.82 (-0.00) 158.15 (-0.01)
1f151d 52.62 (-0.01) 53.44 (-0.01) 52.92 (-0.01) 158.98 (-0.01)
ff1a1a 52.95 (+0.01) 53.71 (+0.02) 53.23 (-0.00) 159.89 (+0.01)
b1477b 52.52 (-0.01) 52.85 (-0.01) 53.35 (+0.00) 158.72 (-0.01)
1b947f 52.82 (+0.01) 53.63 (+0.03) 53.12 (+0.02) 159.58 (+0.02)
a21b55 52.43 (+0.00) 52.24 (-0.00) 52.23 (-0.00) 156.89 (-0.00)
4ba950 52.19 (-0.01) 52.40 (-0.01) 52.45 (-0.01) 157.05 (-0.01)
4e359d 52.74 (-0.00) 53.06 (-0.01) 53.06 (-0.00) 158.85 (-0.01)
3837fc 52.89 (+0.01) 53.73 (+0.01) 53.26 (+0.01) 159.89 (+0.01)
edcf4d 52.36 (-0.01) 53.20 (+0.00) 52.68 (-0.01) 158.23 (-0.00)
411c71 52.74 (-0.02) 53.06 (-0.01) 53.05 (-0.01) 158.85 (-0.01)
854348 53.55 (+0.02) 53.36 (+0.02) 53.34 (+0.02) 160.26 (+0.02)
7ba5c2 52.74 (+0.00) 52.55 (-0.01) 52.55 (-0.01) 157.84 (-0.01)
ebea29 52.52 (-0.00) 52.83 (-0.00) 53.34 (+0.01) 158.69 (-0.00)
22c890 52.69 (-0.01) 53.02 (-0.02) 53.01 (-0.01) 158.72 (-0.01)
f0b2e0 53.18 (+0.00) 54.05 (+0.01) 53.48 (+0.00) 160.71 (+0.01)
dec580 53.08 (+0.00) 53.40 (+0.00) 53.40 (-0.01) 159.88 (-0.00)
dec580 52.96 (-0.01) 53.29 (-0.01) 53.76 (-0.01) 160.01 (-0.01)
b1c2a6 53.65 (+0.01) 53.96 (-0.00) 54.47 (+0.02) 162.08 (+0.01)
931094 53.34 (-0.01) 54.18 (+0.00) 53.66 (-0.01) 161.19 (-0.00)
957acb 53.66 (+0.00) 53.98 (+0.00) 53.98 (+0.00) 161.62 (+0.00)
846532 53.58 (+0.00) 53.88 (+0.00) 53.89 (+0.00) 161.34 (+0.00)
d733bc 53.33 (-0.01) 53.65 (-0.01) 53.63 (-0.01) 160.60 (-0.01)
75ffe3 53.65 (+0.00) 53.98 (+0.01) 53.97 (+0.01) 161.60 (+0.01)
75ffe3 53.48 (+0.01) 53.29 (-0.00) 53.28 (-0.01) 160.05 (-0.00)
bf4623 52.97 (+0.00) 53.29 (-0.01) 53.81 (+0.01) 160.07 (+0.00)
b26c83 52.95 (-0.00) 53.81 (+0.01) 53.29 (-0.00) 160.05 (+0.00)
9d714a 53.01 (-0.00) 53.33 (-0.01) 53.33 (-0.00) 159.68 (-0.00)
6efea4 53.04 (+0.01) 53.87 (+0.02) 53.37 (+0.01) 160.27 (+0.02)
4071ff 52.40 (-0.02) 52.75 (-0.01) 52.74 (-0.02) 157.89 (-0.02)
4071ff 53.21 (-0.00) 53.54 (+0.00) 54.06 (+0.01) 160.81 (+0.00)
870ba4 53.21 (-0.00) 53.54 (-0.00) 53.53 (-0.00) 160.28 (-0.00)
f5ca89 53.23 (-0.02) 53.56 (-0.01) 53.55 (-0.01) 160.34 (-0.01)
8bd565 54.13 (+0.02) 53.95 (-0.00) 53.95 (+0.01) 162.03 (+0.01)
dd22c8 53.12 (-0.02) 53.96 (+0.00) 53.45 (-0.01) 160.54 (-0.01)
299db9 54.09 (+0.01) 53.91 (+0.01) 53.91 (+0.01) 161.90 (+0.01)
93f3f4 53.70 (+0.02) 53.52 (+0.01) 53.51 (+0.01) 160.74 (+0.01)
f6e2e0 52.58 (-0.02) 52.91 (-0.01) 52.91 (-0.01) 158.41 (-0.01)
f6e2e0 53.62 (-0.00) 53.41 (-0.00) 53.40 (-0.00) 160.43 (-0.00)
f6e2e0 53.76 (-0.00) 53.57 (-0.00) 53.56 (-0.00) 160.90 (-0.00)
f1d960 53.89 (+0.01) 53.74 (-0.00) 53.66 (-0.01) 161.28 (-0.00)
4a9279 53.62 (+0.00) 53.94 (+0.01) 53.94 (+0.01) 161.51 (+0.01)
2e4bf7 53.58 (-0.00) 53.37 (-0.00) 53.38 (-0.00) 160.33 (-0.00)
ce8fbb 53.69 (+0.01) 53.50 (+0.00) 53.48 (+0.00) 160.67 (+0.00)
ce8fbb 53.08 (-0.01) 53.41 (-0.00) 53.41 (-0.00) 159.90 (-0.00)
ce8fbb 53.63 (+0.00) 53.43 (-0.02) 53.42 (-0.01) 160.48 (-0.01)
d1a0f2 53.54 (+0.01) 54.37 (+0.01) 53.86 (+0.01) 161.77 (+0.01)
ccf92d 53.25 (-0.00) 53.58 (-0.00) 53.55 (-0.00) 160.38 (-0.00)
02b8e0 53.38 (-0.00) 53.69 (-0.00) 53.69 (-0.00) 160.76 (-0.00)
7b9057 53.55 (-0.00) 53.85 (+0.00) 53.84 (+0.00) 161.24 (+0.00)
9cada8 53.80 (-0.01) 53.59 (-0.01) 53.59 (-0.01) 160.99 (-0.01)
9cada8 54.14 (+0.02) 53.93 (+0.01) 53.93 (+0.01) 161.99 (+0.01)
9cada8 53.12 (-0.00) 53.62 (-0.01) 53.25 (-0.01) 159.99 (-0.01)
a60f68 53.32 (+0.00) 54.11 (+0.01) 53.59 (+0.00) 161.02 (+0.01)
d19c52 53.13 (+0.00) 53.45 (+0.00) 53.44 (+0.00) 160.03 (+0.00)
000eb1 53.01 (-0.01) 53.33 (-0.02) 53.32 (-0.01) 159.66 (-0.01)
000eb1 53.59 (-0.01) 54.43 (+0.01) 53.91 (+0.00) 161.93 (+0.00)
f51b48 53.90 (+0.01) 53.72 (-0.01) 53.71 (+0.00) 161.33 (+0.00)
f51b48 53.36 (+0.00) 54.19 (+0.01) 53.68 (-0.01) 161.24 (+0.00)
f51b48 53.25 (+0.01) 53.59 (+0.01) 54.10 (+0.02) 160.95 (+0.01)
9f906f 52.83 (-0.02) 53.16 (-0.01) 53.15 (-0.02) 159.14 (-0.02)
0692ff 53.68 (+0.02) 53.94 (+0.00) 53.96 (+0.01) 161.59 (+0.01)
2caece 52.88 (-0.01) 53.74 (+0.01) 53.21 (+0.00) 159.84 (+0.00)
bc7d3c 53.17 (-0.01) 52.97 (-0.02) 52.96 (-0.02) 159.10 (-0.01)
2153d2 53.44 (+0.01) 53.78 (+0.01) 54.28 (+0.02) 161.50 (+0.01)
2153d2 53.15 (-0.00) 53.46 (-0.01) 53.45 (-0.00) 160.06 (-0.01)
2153d2 53.25 (-0.01) 54.10 (+0.01) 53.57 (-0.00) 160.92 (-0.00)
a1b062 53.95 (+0.01) 53.75 (-0.00) 53.74 (-0.00) 161.45 (+0.00)
1d9d7c 53.47 (-0.00) 53.79 (-0.01) 53.77 (-0.01) 161.04 (-0.01)
3569c1 53.67 (+0.00) 54.60 (+0.01) 54.47 (+0.01) 162.74 (+0.01)
eaff14 53.53 (-0.00) 53.84 (-0.00) 53.83 (-0.00) 161.20 (-0.00)
f383b4 53.65 (+0.01) 53.98 (+0.01) 53.95 (+0.01) 161.58 (+0.01)
f383b4 53.21 (-0.01) 53.53 (-0.01) 53.52 (-0.01) 160.26 (-0.01)
f383b4 53.49 (-0.01) 53.80 (-0.00) 53.81 (-0.00) 161.10 (-0.01)
a4256b 54.12 (+0.02) 53.91 (+0.01) 53.91 (+0.01) 161.95 (+0.01)
371493 53.27 (+0.01) 53.59 (-0.00) 53.58 (+0.01) 160.44 (+0.00)
c5c143 52.86 (-0.01) 53.70 (+0.00) 53.18 (-0.01) 159.74 (-0.00)
58fa4f 53.19 (+0.00) 53.52 (+0.00) 53.50 (+0.00) 160.21 (+0.00)
121d53 53.04 (-0.01) 53.33 (-0.01) 53.32 (-0.01) 159.69 (-0.01)
121d53 53.58 (+0.02) 53.91 (+0.01) 53.90 (+0.02) 161.39 (+0.01)
ec3a3a 52.79 (-0.01) 53.12 (-0.00) 53.10 (-0.00) 159.01 (-0.01)
96e783 53.46 (+0.01) 53.29 (-0.00) 53.27 (-0.01) 160.02 (-0.00)
567b71 53.06 (+0.00) 53.38 (+0.00) 53.90 (+0.00) 160.34 (+0.00)
847fc5 52.97 (+0.00) 53.29 (+0.00) 53.80 (+0.01) 160.06 (+0.00)
5e08b3 52.93 (+0.01) 53.24 (+0.01) 53.23 (+0.01) 159.40 (+0.01)
4d291d 52.44 (-0.02) 52.77 (-0.02) 52.76 (-0.02) 157.97 (-0.02)
4d291d 53.26 (-0.00) 53.57 (-0.01) 53.57 (-0.00) 160.41 (-0.01)
bf63f1 53.47 (-0.00) 54.28 (+0.01) 53.77 (-0.00) 161.53 (+0.00)
0a0958 53.59 (+0.01) 53.89 (+0.02) 53.91 (+0.02) 161.39 (+0.01)
aabca5 53.27 (+0.02) 53.08 (+0.02) 53.07 (+0.02) 159.42 (+0.02)
a4be54 52.34 (-0.02) 52.16 (-0.03) 52.15 (-0.03) 156.65 (-0.02)
a3d7ad 53.21 (+0.00) 53.54 (-0.01) 53.54 (+0.00) 160.29 (-0.00)
a3d7ad 53.19 (+0.00) 54.03 (+0.01) 53.53 (+0.00) 160.75 (+0.01)
8ba169 53.01 (+0.01) 53.38 (+0.01) 53.34 (+0.01) 159.73 (+0.01)
e5cc2f 52.38 (-0.02) 52.71 (-0.02) 52.72 (-0.02) 157.82 (-0.02)
c6b56d 53.37 (+0.02) 53.71 (+0.02) 53.70 (+0.01) 160.78 (+0.01)
e067cd 52.56 (+0.01) 52.90 (+0.01) 53.41 (+0.02) 158.87 (+0.01)
bce423 52.29 (-0.02) 52.62 (-0.02) 52.61 (-0.03) 157.52 (-0.02)
bce423 53.36 (+0.02) 53.69 (+0.03) 54.20 (+0.04) 161.26 (+0.03)
c28bfd 52.16 (-0.03) 51.98 (-0.05) 51.96 (-0.04) 156.10 (-0.04)
95bf19 53.61 (+0.01) 54.46 (+0.02) 53.95 (-0.00) 162.02 (+0.01)
95bf19 53.28 (+0.01) 53.61 (+0.02) 54.11 (+0.03) 161.00 (+0.02)
080752 52.71 (-0.02) 52.52 (-0.03) 52.51 (-0.04) 157.73 (-0.03)
23d5e2 53.63 (+0.01) 53.94 (+0.01) 54.46 (+0.02) 162.03 (+0.01)
23d5e2 53.17 (+0.00) 53.49 (+0.00) 53.49 (-0.01) 160.15 (-0.00)
8b710b 52.99 (+0.00) 53.33 (+0.00) 53.84 (+0.00) 160.16 (+0.00)
8c6e60 52.91 (-0.01) 53.24 (-0.01) 53.75 (+0.00) 159.91 (-0.00)
10dae7 53.23 (+0.01) 53.57 (+0.00) 53.56 (+0.01) 160.36 (+0.01)
4c4d3d 52.59 (-0.02) 53.44 (-0.01) 52.93 (-0.02) 158.95 (-0.01)
9f94d0 53.47 (+0.00) 53.78 (-0.01) 53.79 (+0.00) 161.05 (-0.00)
9f94d0 53.34 (-0.00) 54.20 (+0.01) 53.68 (-0.00) 161.22 (+0.00)
9f94d0 53.38 (+0.00) 53.70 (+0.01) 53.73 (+0.01) 160.81 (+0.01)
c700c7 53.16 (-0.01) 52.98 (-0.02) 53.01 (-0.02) 159.15 (-0.01)
42c6dd 53.62 (+0.00) 53.95 (+0.01) 53.95 (+0.01) 161.52 (+0.01)
f6bf7b 53.50 (+0.04) 53.31 (+0.02) 53.30 (+0.03) 160.11 (+0.03)
1137b5 51.41 (-0.04) 52.24 (-0.04) 51.73 (-0.04) 155.38 (-0.04)
1468c6 53.64 (-0.01) 54.47 (+0.01) 53.95 (+0.00) 162.06 (+0.00)
1468c6 54.11 (+0.01) 53.92 (+0.00) 53.91 (+0.00) 161.95 (+0.01)
c01f92 53.49 (+0.01) 53.82 (+0.01) 53.82 (+0.00) 161.13 (+0.01)
7ff591 52.73 (-0.02) 53.07 (-0.01) 53.57 (-0.00) 159.37 (-0.01)
5d4774 53.92 (-0.00) 53.70 (-0.00) 53.71 (-0.00) 161.32 (-0.00)
56d8c2 54.10 (+0.04) 53.93 (+0.03) 53.92 (+0.03) 161.94 (+0.04)
12e6f4 51.87 (-0.03) 52.20 (-0.03) 52.19 (-0.03) 156.26 (-0.03)
12e6f4 53.27 (-0.02) 53.59 (-0.01) 53.58 (-0.01) 160.44 (-0.01)
61194a 54.13 (+0.02) 53.96 (+0.01) 53.95 (+0.01) 162.04 (+0.01)
70ce01 53.00 (-0.02) 53.33 (-0.01) 53.32 (-0.01) 159.66 (-0.01)
c04c20 54.14 (+0.01) 53.97 (-0.00) 53.96 (-0.01) 162.06 (-0.00)
827ee1 53.62 (+0.01) 53.97 (+0.01) 54.46 (+0.02) 162.06 (+0.02)
22ae67 52.93 (-0.01) 53.23 (-0.01) 53.23 (-0.01) 159.40 (-0.01)
0f4458 53.64 (+0.00) 53.97 (-0.01) 53.96 (+0.00) 161.57 (-0.00)
0f4458 53.63 (+0.00) 54.48 (+0.01) 53.95 (-0.01) 162.07 (-0.00)
0f4458 53.63 (-0.01) 53.97 (-0.00) 54.48 (+0.01) 162.08 (-0.00)
b8a566 54.15 (+0.01) 53.97 (+0.00) 53.96 (+0.00) 162.09 (+0.00)
b8a566 53.63 (+0.09) 53.97 (+0.10) 53.96 (+0.09) 161.55 (+0.09)
9747e9 49.42 (-0.04) 49.25 (-0.05) 49.54 (-0.05) 148.21 (-0.05)
b50e07 51.47 (-0.03) 51.65 (-0.03) 52.14 (-0.03) 155.25 (-0.03)
6a57d5 53.19 (-0.01) 53.36 (-0.01) 53.87 (+0.00) 160.42 (-0.00)
c0480f 53.58 (+0.04) 53.76 (+0.04) 53.76 (+0.04) 161.09 (+0.04)
4f443c 51.47 (-0.01) 51.65 (+0.00) 51.64 (+0.00) 154.76 (-0.00)
4f443c 51.94 (-0.02) 51.62 (-0.03) 51.61 (-0.04) 155.17 (-0.03)
788823 52.97 (-0.00) 53.18 (-0.00) 53.68 (+0.01) 159.84 (+0.00)
c21104 53.15 (+0.00) 53.34 (+0.01) 53.34 (+0.01) 159.84 (+0.01)
b9544a 52.90 (+0.01) 52.58 (+0.00) 52.55 (-0.00) 158.03 (+0.00)
33834c 52.39 (+0.01) 52.57 (+0.01) 52.56 (+0.01) 157.53 (+0.01)
521667 51.93 (+0.00) 52.11 (+0.00) 52.11 (+0.01) 156.15 (+0.00)
361648 51.68 (-0.04) 51.85 (-0.04) 51.85 (-0.04) 155.38 (-0.04)
fc0629 53.63 53.81 53.80 161.24

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query23]

platform: rds-postgres

revision Q23/1 Q23/2 Q23/3 total_duration
41aa62 53.32 (-0.00) 53.58 (-0.00) 53.58 (-0.01) 160.49 (-0.01)
7b5489 53.51 (+0.00) 53.76 (+0.00) 54.26 (+0.01) 161.53 (+0.01)
a23b07 53.35 (-0.00) 53.62 (-0.00) 53.60 (-0.01) 160.57 (-0.00)
cc2d00 53.37 (-0.01) 53.64 (+0.00) 54.14 (+0.01) 161.15 (+0.00)
ba9df2 53.71 (+0.01) 53.45 (-0.00) 53.44 (-0.01) 160.59 (-0.00)
a8f354 53.39 (-0.00) 53.65 (-0.00) 54.15 (+0.01) 161.20 (-0.00)
7feb0d 53.58 (+0.02) 53.81 (+0.02) 53.82 (+0.01) 161.21 (+0.02)
982fce 52.56 (-0.00) 52.80 (-0.00) 53.31 (+0.01) 158.67 (+0.00)
1f151d 52.67 (-0.01) 52.90 (-0.01) 52.90 (-0.01) 158.48 (-0.01)
ff1a1a 52.97 (+0.01) 53.22 (+0.01) 53.22 (+0.01) 159.41 (+0.01)
b1477b 52.62 (-0.00) 52.80 (-0.01) 52.81 (-0.01) 158.24 (-0.01)
1b947f 52.86 (+0.02) 53.10 (+0.02) 53.10 (+0.02) 159.07 (+0.02)
a21b55 51.96 (-0.00) 52.22 (-0.01) 52.21 (-0.00) 156.39 (-0.01)
4ba950 52.19 (-0.01) 52.96 (-0.01) 52.45 (-0.01) 157.59 (-0.01)
4e359d 52.80 (-0.00) 53.55 (+0.01) 53.03 (-0.00) 159.38 (+0.00)
3837fc 52.99 (+0.01) 53.19 (+0.01) 53.16 (+0.01) 159.34 (+0.01)
edcf4d 52.40 (-0.01) 52.66 (-0.01) 52.66 (-0.02) 157.73 (-0.01)
411c71 52.79 (-0.01) 53.04 (-0.01) 53.55 (-0.01) 159.39 (-0.01)
854348 53.09 (+0.02) 53.34 (+0.02) 53.84 (+0.03) 160.27 (+0.02)
7ba5c2 52.28 (-0.01) 52.53 (-0.01) 52.52 (-0.01) 157.33 (-0.01)
ebea29 52.56 (-0.00) 52.82 (-0.01) 52.80 (-0.00) 158.19 (-0.01)
22c890 52.74 (-0.01) 53.51 (+0.00) 53.00 (-0.01) 159.25 (-0.01)
f0b2e0 53.24 (-0.01) 53.49 (+0.00) 53.49 (+0.00) 160.21 (-0.00)
dec580 53.64 (+0.01) 53.38 (+0.00) 53.37 (+0.00) 160.40 (+0.01)
dec580 53.00 (-0.01) 53.25 (-0.01) 53.25 (-0.01) 159.51 (-0.01)
b1c2a6 53.70 (+0.01) 53.94 (+0.01) 53.94 (+0.01) 161.59 (+0.01)
931094 53.39 (-0.01) 53.65 (-0.02) 53.63 (-0.01) 160.67 (-0.01)
957acb 53.70 (-0.01) 54.48 (+0.01) 53.96 (+0.00) 162.14 (+0.00)
846532 54.14 (+0.01) 53.88 (+0.00) 53.87 (-0.01) 161.88 (+0.00)
d733bc 53.37 (-0.01) 53.62 (-0.01) 54.29 (-0.00) 161.29 (-0.01)
75ffe3 53.72 (+0.01) 53.97 (+0.01) 54.48 (+0.02) 162.17 (+0.02)
75ffe3 53.02 (-0.00) 53.26 (-0.00) 53.26 (-0.00) 159.55 (-0.00)
bf4623 53.03 (+0.00) 53.28 (+0.00) 53.27 (+0.00) 159.57 (+0.00)
b26c83 53.02 (-0.00) 53.28 (-0.01) 53.26 (-0.00) 159.56 (-0.00)
9d714a 53.07 (-0.00) 53.83 (+0.01) 53.32 (-0.00) 160.21 (+0.00)
6efea4 53.09 (+0.00) 53.34 (+0.01) 53.34 (+0.01) 159.77 (+0.01)
4071ff 52.98 (-0.01) 52.73 (-0.01) 52.73 (-0.01) 158.43 (-0.01)
4071ff 53.28 (-0.01) 53.52 (-0.00) 53.52 (-0.00) 160.32 (-0.00)
870ba4 53.80 (+0.00) 53.52 (-0.00) 53.54 (+0.00) 160.87 (-0.00)
f5ca89 53.80 (+0.00) 53.55 (-0.01) 53.52 (-0.02) 160.88 (-0.01)
8bd565 53.68 (+0.01) 53.93 (+0.01) 54.44 (+0.02) 162.05 (+0.01)
dd22c8 53.18 (-0.01) 53.43 (-0.01) 53.43 (-0.02) 160.04 (-0.01)
299db9 53.63 (+0.01) 53.89 (+0.01) 54.39 (+0.01) 161.91 (+0.01)
93f3f4 53.25 (+0.01) 53.49 (+0.00) 54.01 (+0.02) 160.75 (+0.01)
f6e2e0 52.64 (-0.01) 53.40 (+0.00) 52.89 (-0.01) 158.93 (-0.01)
f6e2e0 53.15 (-0.00) 53.38 (-0.00) 53.38 (-0.01) 159.92 (-0.00)
f6e2e0 53.29 (-0.00) 53.55 (-0.00) 53.87 (+0.00) 160.71 (-0.00)
f1d960 53.44 (-0.00) 53.68 (-0.00) 53.70 (-0.01) 160.83 (-0.01)
4a9279 53.66 (+0.01) 53.92 (+0.01) 54.43 (+0.01) 162.01 (+0.01)
2e4bf7 53.10 (-0.00) 53.36 (-0.00) 53.87 (+0.01) 160.34 (+0.00)
ce8fbb 53.23 (+0.00) 53.48 (-0.01) 53.46 (+0.00) 160.17 (-0.00)
ce8fbb 53.14 (-0.00) 53.90 (+0.01) 53.43 (-0.01) 160.47 (-0.00)
ce8fbb 53.16 (-0.01) 53.42 (-0.01) 53.90 (+0.00) 160.48 (-0.00)
d1a0f2 53.61 (+0.01) 53.81 (-0.00) 53.83 (+0.01) 161.26 (+0.00)
ccf92d 53.30 (-0.00) 54.07 (-0.00) 53.54 (-0.00) 160.91 (-0.00)
02b8e0 53.42 (-0.00) 54.29 (-0.00) 53.57 (-0.00) 161.27 (-0.00)
7b9057 53.59 (+0.00) 54.35 (+0.01) 53.83 (-0.00) 161.76 (+0.00)
9cada8 53.33 (-0.01) 53.58 (-0.01) 54.09 (-0.01) 160.99 (-0.01)
9cada8 53.66 (+0.01) 53.91 (+0.01) 54.42 (+0.01) 162.00 (+0.01)
9cada8 53.17 (-0.00) 53.42 (-0.00) 53.93 (+0.01) 160.52 (+0.00)
a60f68 53.39 (-0.01) 53.56 (+0.00) 53.56 (+0.00) 160.52 (-0.00)
d19c52 53.69 (+0.01) 53.44 (+0.00) 53.42 (-0.01) 160.55 (+0.00)
000eb1 53.06 (-0.01) 53.30 (-0.01) 53.82 (-0.00) 160.18 (-0.01)
000eb1 53.64 (+0.00) 53.90 (+0.00) 53.89 (+0.00) 161.44 (+0.00)
f51b48 53.44 (+0.00) 53.69 (+0.00) 53.69 (+0.00) 160.83 (+0.00)
f51b48 53.41 (+0.00) 53.66 (+0.00) 53.66 (+0.00) 160.73 (+0.00)
f51b48 53.32 (-0.00) 53.58 (+0.01) 53.56 (+0.01) 160.46 (+0.00)
9f906f 53.40 (-0.02) 53.14 (-0.01) 53.13 (-0.01) 159.67 (-0.02)
0692ff 54.27 (+0.02) 53.93 (+0.01) 53.93 (+0.01) 162.13 (+0.02)
2caece 52.98 (+0.01) 53.21 (+0.00) 53.19 (-0.00) 159.38 (+0.00)
bc7d3c 52.70 (-0.02) 52.95 (-0.01) 53.46 (-0.01) 159.11 (-0.01)
2153d2 53.55 (-0.00) 53.75 (+0.01) 53.74 (+0.01) 161.04 (+0.00)
2153d2 53.71 (+0.01) 53.44 (-0.00) 53.45 (-0.00) 160.60 (+0.00)
2153d2 53.30 (-0.00) 53.56 (-0.00) 53.54 (-0.01) 160.40 (-0.01)
a1b062 53.48 (-0.00) 53.73 (-0.01) 54.24 (+0.01) 161.46 (-0.00)
1d9d7c 53.52 (-0.00) 54.29 (+0.01) 53.76 (-0.00) 161.58 (-0.00)
3569c1 53.72 (-0.01) 53.97 (-0.00) 53.97 (+0.00) 161.65 (-0.00)
eaff14 54.09 (-0.00) 54.04 (+0.00) 53.82 (-0.00) 161.96 (-0.00)
f383b4 54.23 (+0.01) 53.94 (+0.01) 53.95 (+0.01) 162.12 (+0.01)
f383b4 53.76 (+0.00) 53.52 (-0.01) 53.50 (-0.01) 160.78 (-0.01)
f383b4 53.54 (-0.00) 54.30 (+0.01) 53.80 (-0.01) 161.63 (-0.00)
a4256b 53.66 (+0.01) 53.89 (+0.01) 54.41 (+0.01) 161.96 (+0.01)
371493 53.33 (+0.01) 53.57 (+0.01) 54.08 (+0.02) 160.98 (+0.01)
c5c143 52.91 (-0.01) 53.17 (-0.01) 53.16 (-0.02) 159.24 (-0.01)
58fa4f 53.25 (-0.01) 53.50 (+0.00) 54.00 (+0.01) 160.74 (+0.00)
121d53 53.58 (-0.00) 53.33 (-0.02) 53.29 (-0.01) 160.20 (-0.01)
121d53 53.65 (+0.01) 54.40 (+0.02) 53.89 (+0.01) 161.94 (+0.01)
ec3a3a 53.36 (+0.01) 53.09 (-0.00) 53.10 (-0.00) 159.55 (+0.00)
96e783 53.00 (-0.00) 53.26 (-0.00) 53.25 (-0.00) 159.52 (-0.00)
567b71 53.12 (+0.00) 53.37 (+0.00) 53.35 (+0.00) 159.84 (+0.00)
847fc5 53.03 (-0.00) 53.28 (+0.00) 53.27 (+0.00) 159.59 (-0.00)
5e08b3 53.18 (+0.01) 53.22 (+0.01) 53.22 (-0.00) 159.62 (+0.01)
4d291d 52.49 (-0.02) 52.75 (-0.02) 53.26 (-0.01) 158.49 (-0.02)
4d291d 53.30 (-0.00) 53.56 (-0.00) 54.07 (+0.01) 160.93 (-0.00)
bf63f1 53.50 (-0.00) 53.76 (-0.01) 53.75 (-0.00) 161.02 (-0.01)
0a0958 53.63 (+0.02) 54.40 (+0.03) 53.88 (+0.02) 161.91 (+0.02)
aabca5 52.80 (+0.02) 53.06 (+0.02) 53.05 (+0.02) 158.91 (+0.02)
a4be54 51.88 (-0.04) 52.14 (-0.03) 52.13 (-0.03) 156.15 (-0.03)
a3d7ad 53.78 (+0.01) 53.54 (+0.00) 53.52 (+0.00) 160.83 (+0.00)
a3d7ad 53.24 (+0.00) 53.51 (-0.01) 53.50 (+0.00) 160.25 (-0.00)
8ba169 53.08 (+0.01) 53.86 (+0.01) 53.33 (+0.01) 160.27 (+0.01)
e5cc2f 52.44 (-0.02) 53.21 (-0.01) 52.69 (-0.03) 158.36 (-0.02)
c6b56d 53.56 (+0.02) 53.68 (+0.02) 54.20 (+0.03) 161.44 (+0.02)
e067cd 52.63 (-0.00) 52.88 (+0.01) 52.88 (+0.01) 158.38 (+0.00)
bce423 52.84 (-0.01) 52.60 (-0.02) 52.60 (-0.02) 158.04 (-0.02)
bce423 53.44 (+0.03) 53.67 (+0.03) 53.67 (+0.03) 160.79 (+0.03)
c28bfd 51.68 (-0.04) 51.96 (-0.04) 51.94 (-0.04) 155.59 (-0.04)
95bf19 53.67 (+0.01) 53.93 (+0.01) 53.92 (+0.01) 161.51 (+0.01)
95bf19 53.34 (+0.02) 53.58 (+0.02) 53.58 (+0.01) 160.51 (+0.02)
080752 52.24 (-0.03) 52.50 (-0.03) 53.00 (-0.02) 157.73 (-0.02)
23d5e2 53.66 (-0.00) 53.93 (+0.01) 53.92 (+0.01) 161.52 (+0.01)
23d5e2 53.72 (+0.01) 53.48 (+0.00) 53.47 (+0.00) 160.67 (+0.01)
8b710b 53.05 (+0.00) 53.31 (+0.00) 53.30 (+0.00) 159.66 (+0.00)
8c6e60 52.97 (-0.01) 53.22 (-0.02) 53.22 (-0.01) 159.41 (-0.01)
10dae7 53.29 (+0.01) 54.07 (+0.02) 53.55 (+0.01) 160.91 (+0.02)
4c4d3d 52.64 (-0.03) 52.91 (-0.02) 52.91 (-0.02) 158.46 (-0.02)
9f94d0 54.02 (+0.01) 53.78 (+0.00) 53.78 (+0.00) 161.58 (+0.01)
9f94d0 53.40 (-0.00) 53.66 (-0.01) 53.66 (-0.00) 160.72 (-0.00)
9f94d0 53.41 (+0.01) 54.20 (+0.02) 53.68 (+0.00) 161.30 (+0.01)
c700c7 52.69 (-0.02) 52.96 (-0.02) 53.47 (-0.02) 159.12 (-0.02)
42c6dd 53.66 (+0.01) 53.94 (+0.01) 54.45 (+0.01) 162.05 (+0.01)
f6bf7b 53.04 (+0.03) 53.28 (+0.03) 53.80 (+0.04) 160.12 (+0.03)
1137b5 51.45 (-0.04) 51.71 (-0.04) 51.71 (-0.04) 154.88 (-0.04)
1468c6 53.68 (+0.00) 53.93 (+0.00) 53.93 (+0.00) 161.54 (+0.00)
1468c6 53.64 (+0.00) 53.91 (-0.01) 53.89 (+0.00) 161.45 (-0.00)
c01f92 53.52 (+0.01) 54.32 (+0.02) 53.80 (+0.01) 161.65 (+0.02)
7ff591 52.78 (-0.01) 53.05 (-0.01) 53.03 (-0.02) 158.87 (-0.02)
5d4774 53.43 (-0.00) 53.70 (-0.00) 54.20 (+0.01) 161.32 (-0.00)
56d8c2 53.64 (+0.03) 53.91 (+0.02) 53.90 (+0.03) 161.45 (+0.03)
12e6f4 51.92 (-0.03) 52.70 (-0.03) 52.18 (-0.03) 156.80 (-0.03)
12e6f4 53.33 (-0.01) 54.09 (+0.00) 53.57 (-0.01) 160.99 (-0.00)
61194a 53.67 (+0.00) 53.94 (+0.01) 53.94 (+0.01) 161.55 (+0.01)
70ce01 53.58 (-0.00) 53.32 (-0.01) 53.31 (-0.02) 160.21 (-0.01)
c04c20 53.68 (-0.00) 53.94 (-0.00) 54.45 (+0.01) 162.08 (+0.00)
827ee1 53.74 (+0.00) 53.94 (+0.01) 53.93 (+0.01) 161.62 (+0.01)
22ae67 53.49 (-0.01) 53.23 (-0.01) 53.22 (-0.01) 159.94 (-0.01)
0f4458 54.21 (+0.01) 53.95 (+0.00) 53.94 (+0.00) 162.10 (+0.00)
0f4458 53.67 (-0.00) 53.95 (+0.00) 53.93 (-0.00) 161.55 (-0.00)
0f4458 53.69 (-0.00) 53.95 (-0.00) 53.95 (+0.00) 161.59 (+0.00)
b8a566 53.69 (-0.01) 53.95 (+0.00) 53.94 (+0.00) 161.59 (-0.00)
b8a566 54.21 (+0.11) 53.95 (+0.10) 53.94 (+0.10) 162.09 (+0.10)
9747e9 48.97 (-0.05) 49.23 (-0.05) 49.22 (-0.05) 147.41 (-0.05)
b50e07 51.45 (-0.03) 51.64 (-0.03) 51.59 (-0.03) 154.68 (-0.03)
6a57d5 53.18 (-0.02) 53.34 (-0.01) 53.34 (-0.01) 159.86 (-0.01)
c0480f 54.08 (+0.05) 53.75 (+0.03) 53.73 (+0.04) 161.56 (+0.04)
4f443c 51.47 (+0.00) 52.14 (+0.01) 51.65 (+0.00) 155.26 (+0.00)
4f443c 51.45 (-0.03) 51.60 (-0.03) 51.60 (-0.03) 154.64 (-0.03)
788823 53.00 (-0.01) 53.15 (-0.00) 53.16 (-0.00) 159.31 (-0.01)
c21104 53.68 (+0.02) 53.33 (+0.01) 53.33 (+0.00) 160.34 (+0.01)
b9544a 52.38 (-0.01) 52.55 (-0.00) 53.07 (+0.01) 158.00 (+0.00)
33834c 52.89 (+0.02) 52.55 (+0.01) 52.55 (-0.00) 158.00 (+0.01)
521667 51.91 (+0.00) 52.10 (-0.00) 52.60 (+0.01) 156.61 (+0.00)
361648 51.68 (-0.04) 52.35 (-0.04) 51.83 (-0.04) 155.87 (-0.04)
fc0629 53.62 54.30 53.79 161.71

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query24]

platform: rds-postgres

revision Q24/1 Q24/2 Q24/3 total_duration
41aa62 53.23 (-0.00) 53.56 (-0.00) 54.07 (+0.01) 160.86 (-0.00)
7b5489 53.41 (-0.01) 53.74 (+0.00) 53.73 (+0.00) 160.89 (-0.00)
a23b07 53.77 (+0.01) 53.59 (-0.00) 53.59 (-0.00) 160.95 (+0.00)
cc2d00 53.28 (+0.00) 53.62 (+0.00) 53.61 (+0.00) 160.51 (+0.00)
ba9df2 53.10 (-0.00) 53.43 (-0.00) 53.42 (-0.00) 159.94 (-0.00)
a8f354 53.30 (-0.00) 53.63 (-0.01) 53.62 (-0.00) 160.56 (-0.01)
7feb0d 53.47 (+0.02) 54.32 (+0.03) 53.80 (+0.02) 161.59 (+0.02)
982fce 52.46 (-0.00) 52.78 (-0.01) 52.78 (-0.00) 158.03 (-0.01)
1f151d 52.56 (-0.01) 53.41 (-0.01) 52.88 (-0.01) 158.85 (-0.01)
ff1a1a 52.88 (+0.01) 53.72 (+0.01) 53.21 (+0.01) 159.81 (+0.01)
b1477b 52.48 (-0.01) 53.33 (-0.01) 52.79 (-0.01) 158.61 (-0.01)
1b947f 52.76 (+0.01) 53.61 (+0.03) 53.09 (+0.02) 159.46 (+0.02)
a21b55 52.38 (+0.01) 52.20 (-0.00) 52.19 (-0.00) 156.78 (-0.00)
4ba950 52.09 (-0.01) 52.42 (-0.01) 52.42 (-0.01) 156.93 (-0.01)
4e359d 52.69 (-0.00) 53.01 (-0.01) 53.02 (-0.00) 158.73 (-0.01)
3837fc 52.85 (+0.00) 53.69 (+0.02) 53.18 (+0.01) 159.72 (+0.01)
edcf4d 52.82 (-0.01) 52.65 (-0.02) 52.63 (-0.01) 158.11 (-0.01)
411c71 53.18 (+0.00) 53.49 (+0.00) 53.02 (-0.01) 159.68 (+0.00)
854348 53.00 (+0.01) 53.32 (+0.02) 53.31 (+0.02) 159.63 (+0.01)
7ba5c2 52.70 (+0.00) 52.52 (-0.01) 52.51 (-0.01) 157.72 (-0.01)
ebea29 52.47 (-0.00) 53.30 (+0.01) 52.80 (-0.00) 158.57 (-0.00)
22c890 52.65 (-0.01) 52.98 (-0.02) 52.97 (-0.01) 158.60 (-0.01)
f0b2e0 53.13 (+0.00) 53.99 (+0.01) 53.48 (-0.01) 160.60 (+0.00)
dec580 53.04 (+0.00) 53.36 (+0.00) 53.88 (+0.00) 160.27 (+0.00)
dec580 52.90 (-0.01) 53.23 (-0.01) 53.74 (-0.01) 159.88 (-0.01)
b1c2a6 53.59 (-0.00) 53.93 (+0.01) 54.43 (+0.02) 161.95 (+0.01)
931094 53.81 (+0.00) 53.64 (-0.01) 53.62 (-0.01) 161.06 (-0.00)
957acb 53.61 (+0.00) 53.94 (+0.00) 53.94 (+0.00) 161.50 (+0.00)
846532 53.52 (+0.00) 53.85 (+0.00) 53.84 (+0.00) 161.22 (+0.00)
d733bc 53.28 (-0.01) 53.60 (-0.01) 53.60 (-0.01) 160.48 (-0.01)
75ffe3 53.61 (+0.00) 53.95 (+0.01) 53.94 (+0.01) 161.50 (+0.01)
75ffe3 53.44 (+0.01) 53.25 (-0.00) 53.24 (-0.01) 159.93 (-0.00)
bf4623 52.92 (+0.00) 53.26 (-0.01) 53.77 (+0.01) 159.95 (+0.00)
b26c83 52.92 (-0.00) 53.77 (+0.01) 53.25 (-0.00) 159.94 (+0.00)
9d714a 52.97 (-0.00) 53.30 (-0.01) 53.29 (-0.00) 159.56 (-0.00)
6efea4 52.99 (+0.01) 53.84 (+0.02) 53.32 (+0.01) 160.15 (+0.02)
4071ff 52.35 (-0.02) 52.71 (-0.02) 52.70 (-0.02) 157.76 (-0.02)
4071ff 53.18 (+0.00) 54.02 (+0.01) 53.51 (-0.01) 160.71 (+0.00)
870ba4 53.17 (-0.00) 53.50 (-0.00) 54.01 (+0.01) 160.69 (+0.00)
f5ca89 53.19 (-0.01) 53.52 (-0.01) 53.51 (-0.01) 160.23 (-0.01)
8bd565 53.59 (+0.01) 53.91 (-0.00) 53.90 (+0.01) 161.40 (+0.01)
dd22c8 53.07 (-0.01) 53.94 (+0.00) 53.41 (-0.01) 160.42 (-0.01)
299db9 53.53 (+0.01) 53.87 (+0.01) 53.86 (+0.01) 161.27 (+0.01)
93f3f4 53.16 (+0.01) 53.47 (+0.01) 53.48 (+0.01) 160.11 (+0.01)
f6e2e0 52.60 (-0.02) 52.87 (-0.01) 52.87 (-0.01) 158.34 (-0.01)
f6e2e0 53.56 (+0.01) 53.37 (-0.00) 53.37 (-0.00) 160.30 (+0.00)
f6e2e0 53.20 (-0.01) 53.53 (-0.00) 53.53 (-0.00) 160.26 (-0.01)
f1d960 53.85 (+0.01) 53.66 (-0.00) 53.66 (-0.00) 161.17 (-0.00)
4a9279 53.58 (+0.01) 53.90 (+0.01) 53.89 (+0.01) 161.37 (+0.01)
2e4bf7 53.01 (-0.01) 53.35 (-0.00) 53.33 (-0.00) 159.69 (-0.00)
ce8fbb 53.40 (+0.01) 53.46 (+0.00) 53.45 (+0.00) 160.31 (+0.00)
ce8fbb 53.04 (-0.00) 53.37 (-0.00) 53.36 (-0.00) 159.78 (-0.00)
ce8fbb 53.06 (-0.01) 53.39 (-0.02) 53.39 (-0.01) 159.84 (-0.01)
d1a0f2 53.49 (+0.01) 54.34 (+0.02) 53.81 (+0.01) 161.65 (+0.01)
ccf92d 53.21 (-0.00) 53.54 (-0.00) 53.53 (-0.00) 160.27 (-0.00)
02b8e0 53.33 (-0.00) 53.66 (-0.00) 53.65 (-0.00) 160.64 (-0.00)
7b9057 53.50 (+0.01) 53.81 (+0.00) 53.81 (+0.00) 161.12 (+0.00)
9cada8 53.23 (-0.01) 53.56 (-0.01) 53.56 (-0.01) 160.36 (-0.01)
9cada8 53.57 (+0.01) 53.90 (+0.01) 53.88 (+0.01) 161.36 (+0.01)
9cada8 53.07 (-0.01) 53.40 (-0.00) 53.39 (-0.00) 159.86 (-0.01)
a60f68 53.79 (+0.01) 53.55 (+0.00) 53.54 (+0.00) 160.88 (+0.01)
d19c52 53.08 (+0.00) 53.41 (+0.00) 53.40 (+0.00) 159.90 (+0.00)
000eb1 52.96 (-0.01) 53.29 (-0.02) 53.28 (-0.01) 159.54 (-0.01)
000eb1 53.55 (-0.01) 54.39 (+0.01) 53.87 (+0.00) 161.81 (+0.00)
f51b48 53.87 (+0.01) 53.67 (-0.01) 53.68 (+0.00) 161.22 (+0.00)
f51b48 53.30 (+0.00) 54.16 (+0.01) 53.64 (-0.01) 161.11 (+0.00)
f51b48 53.22 (+0.01) 53.55 (+0.01) 54.06 (+0.02) 160.83 (+0.01)
9f906f 52.78 (-0.02) 53.13 (-0.01) 53.11 (-0.01) 159.02 (-0.02)
0692ff 53.65 (+0.01) 53.91 (+0.00) 53.91 (+0.01) 161.47 (+0.01)
2caece 52.89 (+0.01) 53.68 (+0.01) 53.18 (+0.00) 159.75 (+0.01)
bc7d3c 52.61 (-0.02) 52.93 (-0.01) 52.93 (-0.02) 158.47 (-0.02)
2153d2 53.42 (+0.01) 53.72 (+0.01) 54.24 (+0.01) 161.39 (+0.01)
2153d2 53.12 (-0.00) 53.43 (-0.01) 53.94 (+0.01) 160.48 (-0.00)
2153d2 53.21 (-0.00) 54.06 (+0.01) 53.54 (-0.00) 160.80 (-0.00)
a1b062 53.38 (-0.00) 53.72 (-0.00) 53.70 (-0.00) 160.80 (-0.00)
1d9d7c 53.43 (-0.00) 53.75 (-0.01) 53.74 (-0.00) 160.92 (-0.01)
3569c1 53.62 (+0.00) 54.47 (+0.01) 53.94 (+0.00) 162.02 (+0.01)
eaff14 53.48 (-0.00) 53.81 (-0.00) 53.80 (-0.01) 161.08 (-0.01)
f383b4 53.61 (+0.01) 53.92 (+0.01) 54.45 (+0.02) 161.97 (+0.01)
f383b4 53.16 (-0.01) 53.49 (-0.02) 53.48 (-0.01) 160.13 (-0.01)
f383b4 53.44 (-0.00) 54.57 (+0.01) 53.76 (-0.00) 161.77 (+0.00)
a4256b 53.56 (+0.01) 53.88 (+0.01) 53.87 (+0.01) 161.31 (+0.01)
371493 53.23 (-0.00) 53.55 (+0.01) 53.55 (+0.01) 160.33 (+0.00)
c5c143 53.32 (+0.00) 53.16 (-0.01) 53.14 (-0.01) 159.62 (-0.00)
58fa4f 53.15 (+0.00) 53.47 (+0.00) 53.47 (+0.00) 160.10 (+0.00)
121d53 52.96 (-0.01) 53.29 (-0.01) 53.29 (-0.01) 159.55 (-0.01)
121d53 53.54 (+0.02) 53.87 (+0.01) 53.86 (+0.00) 161.27 (+0.01)
ec3a3a 52.74 (-0.01) 53.08 (-0.03) 53.59 (+0.01) 159.41 (-0.01)
96e783 53.42 (+0.01) 54.98 (+0.02) 53.24 (-0.00) 161.65 (+0.01)
567b71 53.01 (+0.00) 53.86 (+0.01) 53.35 (-0.01) 160.23 (+0.00)
847fc5 52.94 (+0.00) 53.26 (+0.00) 53.77 (+0.00) 159.97 (+0.00)
5e08b3 52.87 (+0.01) 53.21 (+0.01) 53.72 (+0.02) 159.80 (+0.01)
4d291d 52.40 (-0.02) 52.73 (-0.02) 52.72 (-0.01) 157.85 (-0.02)
4d291d 53.21 (-0.01) 53.73 (-0.00) 53.35 (-0.01) 160.28 (-0.01)
bf63f1 53.93 (+0.01) 53.74 (-0.00) 53.74 (-0.00) 161.41 (+0.00)
0a0958 53.54 (+0.01) 53.86 (+0.02) 53.86 (+0.02) 161.26 (+0.01)
aabca5 53.21 (+0.02) 53.04 (+0.02) 53.04 (+0.02) 159.29 (+0.02)
a4be54 52.30 (-0.02) 52.12 (-0.03) 52.12 (-0.03) 156.54 (-0.02)
a3d7ad 53.16 (+0.00) 53.51 (-0.01) 53.50 (+0.00) 160.17 (-0.00)
a3d7ad 53.15 (+0.00) 54.01 (+0.01) 53.49 (+0.00) 160.64 (+0.01)
8ba169 52.99 (+0.01) 53.32 (+0.01) 53.32 (+0.01) 159.63 (+0.01)
e5cc2f 52.33 (-0.02) 52.68 (-0.02) 52.67 (-0.02) 157.69 (-0.02)
c6b56d 53.33 (+0.02) 53.66 (+0.01) 53.66 (+0.02) 160.65 (+0.01)
e067cd 52.52 (+0.01) 53.38 (+0.02) 52.86 (+0.01) 158.76 (+0.01)
bce423 52.24 (-0.02) 52.58 (-0.02) 52.59 (-0.03) 157.42 (-0.02)
bce423 53.31 (+0.02) 53.66 (+0.03) 54.17 (+0.04) 161.14 (+0.03)
c28bfd 52.11 (-0.03) 51.94 (-0.05) 51.93 (-0.04) 155.98 (-0.04)
95bf19 53.56 (+0.01) 54.43 (+0.02) 53.90 (-0.00) 161.89 (+0.01)
95bf19 53.24 (+0.02) 53.57 (+0.02) 54.08 (+0.03) 160.89 (+0.02)
080752 52.15 (-0.03) 52.47 (-0.04) 52.47 (-0.03) 157.10 (-0.03)
23d5e2 53.56 (+0.01) 54.43 (+0.02) 53.91 (+0.01) 161.90 (+0.01)
23d5e2 53.12 (+0.00) 53.46 (+0.00) 53.45 (-0.01) 160.03 (-0.00)
8b710b 52.94 (+0.00) 53.29 (+0.00) 53.80 (+0.00) 160.04 (+0.00)
8c6e60 52.87 (-0.01) 53.21 (-0.01) 53.72 (+0.00) 159.80 (-0.00)
10dae7 53.19 (+0.01) 53.53 (+0.00) 53.53 (+0.01) 160.26 (+0.01)
4c4d3d 52.55 (-0.02) 53.41 (-0.01) 52.89 (-0.03) 158.85 (-0.02)
9f94d0 53.42 (-0.01) 53.75 (+0.00) 54.26 (+0.01) 161.44 (+0.00)
9f94d0 53.81 (+0.01) 53.65 (-0.00) 53.64 (-0.00) 161.10 (+0.00)
9f94d0 53.32 (+0.01) 53.67 (+0.01) 53.66 (+0.01) 160.65 (+0.01)
c700c7 52.60 (-0.02) 52.94 (-0.02) 52.93 (-0.02) 158.47 (-0.02)
42c6dd 53.58 (+0.01) 53.92 (+0.01) 53.92 (+0.01) 161.41 (+0.01)
f6bf7b 52.94 (+0.03) 53.27 (+0.02) 53.26 (+0.03) 159.48 (+0.03)
1137b5 51.34 (-0.05) 52.22 (-0.03) 51.69 (-0.04) 155.25 (-0.04)
1468c6 54.09 (+0.00) 53.92 (+0.00) 53.91 (+0.00) 161.92 (+0.00)
1468c6 54.06 (+0.01) 53.89 (+0.00) 53.88 (+0.00) 161.83 (+0.01)
c01f92 53.43 (+0.01) 53.78 (+0.01) 53.77 (+0.00) 160.99 (+0.01)
7ff591 52.67 (-0.01) 53.03 (-0.01) 53.54 (-0.00) 159.25 (-0.01)
5d4774 53.34 (-0.01) 53.67 (-0.00) 53.67 (-0.00) 160.68 (-0.01)
56d8c2 54.04 (+0.04) 53.89 (+0.03) 53.88 (+0.03) 161.81 (+0.04)
12e6f4 51.82 (-0.03) 52.16 (-0.03) 52.16 (-0.03) 156.14 (-0.03)
12e6f4 53.22 (-0.02) 53.55 (-0.01) 53.55 (-0.01) 160.31 (-0.01)
61194a 54.09 (+0.02) 53.92 (+0.01) 53.91 (+0.01) 161.93 (+0.01)
70ce01 52.96 (-0.01) 53.30 (-0.01) 53.29 (-0.01) 159.55 (-0.01)
c04c20 53.59 (+0.00) 53.93 (-0.01) 53.92 (+0.00) 161.44 (-0.00)
827ee1 53.57 (+0.01) 54.44 (+0.02) 53.92 (+0.01) 161.93 (+0.02)
22ae67 52.88 (-0.01) 53.20 (-0.01) 53.20 (-0.02) 159.28 (-0.02)
0f4458 53.59 (-0.00) 53.93 (-0.01) 54.43 (+0.01) 161.95 (-0.00)
0f4458 53.59 (-0.00) 54.44 (+0.00) 53.92 (-0.00) 161.95 (-0.00)
0f4458 53.62 (-0.01) 54.43 (+0.01) 53.93 (+0.00) 161.98 (+0.00)
b8a566 54.11 (+0.01) 53.94 (+0.00) 53.92 (-0.01) 161.97 (+0.00)
b8a566 53.58 (+0.09) 53.93 (+0.10) 54.43 (+0.11) 161.94 (+0.10)
9747e9 49.38 (-0.04) 49.22 (-0.05) 49.20 (-0.06) 147.80 (-0.05)
b50e07 51.39 (-0.03) 51.60 (-0.04) 52.11 (-0.02) 155.11 (-0.03)
6a57d5 53.11 (-0.01) 53.84 (+0.00) 53.33 (-0.02) 160.28 (-0.01)
c0480f 53.51 (+0.04) 53.72 (+0.04) 54.24 (+0.05) 161.47 (+0.04)
4f443c 51.38 (-0.01) 51.62 (+0.00) 51.60 (+0.00) 154.60 (-0.00)
4f443c 51.86 (-0.02) 51.58 (-0.03) 51.58 (-0.04) 155.02 (-0.03)
788823 52.93 (-0.00) 53.14 (-0.00) 53.65 (+0.01) 159.72 (+0.00)
c21104 53.08 (+0.01) 53.32 (+0.01) 53.31 (+0.01) 159.70 (+0.01)
b9544a 52.31 (-0.00) 52.53 (-0.00) 52.53 (+0.00) 157.38 (-0.00)
33834c 52.32 (+0.01) 52.54 (+0.01) 52.53 (+0.01) 157.39 (+0.01)
521667 51.86 (+0.01) 52.08 (+0.01) 52.06 (+0.00) 156.01 (+0.01)
361648 51.59 (-0.04) 51.82 (-0.04) 51.82 (-0.04) 155.23 (-0.04)
fc0629 53.59 53.75 53.76 161.11

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query25]

platform: rds-postgres

revision Q25/1 Q25/2 Q25/3 total_duration
41aa62 53.21 (-0.00) 53.55 (-0.00) 53.54 (-0.01) 160.29 (-0.01)
7b5489 53.39 (+0.00) 53.72 (+0.00) 54.23 (+0.01) 161.34 (+0.01)
a23b07 53.23 (-0.00) 53.58 (-0.00) 53.57 (-0.01) 160.38 (-0.00)
cc2d00 53.26 (-0.01) 53.60 (+0.00) 54.11 (+0.01) 160.97 (+0.00)
ba9df2 53.60 (+0.01) 53.41 (-0.00) 53.40 (-0.01) 160.41 (-0.00)
a8f354 53.28 (-0.00) 53.62 (-0.00) 54.12 (+0.01) 161.02 (-0.00)
7feb0d 53.46 (+0.02) 53.78 (+0.01) 53.78 (+0.02) 161.02 (+0.02)
982fce 52.45 (-0.00) 53.28 (+0.01) 52.77 (-0.00) 158.49 (+0.00)
1f151d 52.55 (-0.01) 52.87 (-0.01) 52.87 (-0.01) 158.30 (-0.01)
ff1a1a 52.86 (+0.01) 53.19 (+0.01) 53.18 (+0.01) 159.23 (+0.01)
b1477b 52.52 (-0.00) 52.74 (-0.01) 52.78 (-0.01) 158.03 (-0.01)
1b947f 52.75 (+0.02) 53.06 (+0.02) 53.06 (+0.02) 158.88 (+0.02)
a21b55 51.85 (-0.00) 52.18 (-0.01) 52.17 (-0.00) 156.21 (-0.01)
4ba950 52.08 (-0.01) 52.92 (-0.01) 52.40 (-0.01) 157.40 (-0.01)
4e359d 52.69 (-0.00) 53.52 (+0.01) 53.00 (-0.00) 159.22 (+0.00)
3837fc 52.83 (+0.01) 53.16 (+0.01) 53.16 (+0.01) 159.15 (+0.01)
edcf4d 52.30 (-0.01) 52.62 (-0.02) 52.62 (-0.01) 157.54 (-0.01)
411c71 52.68 (-0.01) 53.52 (+0.00) 53.00 (-0.01) 159.21 (-0.01)
854348 52.97 (+0.01) 53.30 (+0.02) 53.81 (+0.02) 160.09 (+0.02)
7ba5c2 52.25 (-0.00) 52.41 (-0.01) 53.00 (+0.00) 157.66 (-0.00)
ebea29 52.45 (-0.00) 52.77 (-0.01) 52.77 (-0.00) 158.00 (-0.01)
22c890 52.63 (-0.01) 53.48 (+0.00) 52.96 (-0.01) 159.07 (-0.01)
f0b2e0 53.11 (+0.00) 53.46 (+0.00) 53.45 (+0.00) 160.02 (+0.00)
dec580 53.01 (+0.00) 53.35 (+0.00) 53.34 (+0.00) 159.71 (+0.00)
dec580 52.89 (-0.01) 53.21 (-0.01) 53.21 (-0.01) 159.32 (-0.01)
b1c2a6 53.59 (+0.00) 53.91 (+0.01) 53.90 (+0.01) 161.40 (+0.01)
931094 53.35 (-0.01) 53.61 (-0.01) 53.60 (-0.01) 160.56 (-0.01)
957acb 54.13 (+0.00) 53.90 (+0.00) 53.92 (+0.00) 161.96 (+0.00)
846532 54.01 (+0.01) 53.84 (-0.00) 53.83 (+0.00) 161.69 (+0.00)
d733bc 53.25 (-0.01) 54.10 (-0.01) 53.59 (-0.01) 160.94 (-0.01)
75ffe3 53.60 (+0.01) 54.44 (+0.02) 53.93 (+0.00) 161.97 (+0.01)
75ffe3 52.90 (-0.00) 53.22 (-0.00) 53.74 (+0.01) 159.87 (+0.00)
bf4623 52.91 (+0.00) 53.24 (+0.00) 53.24 (+0.00) 159.39 (+0.00)
b26c83 52.90 (-0.00) 53.24 (-0.01) 53.24 (-0.00) 159.37 (-0.00)
9d714a 52.95 (-0.00) 53.80 (+0.01) 53.28 (-0.00) 160.02 (+0.00)
6efea4 52.97 (+0.00) 53.31 (+0.01) 53.30 (+0.01) 159.58 (+0.01)
4071ff 52.86 (-0.01) 52.70 (-0.01) 52.69 (-0.01) 158.25 (-0.01)
4071ff 53.15 (-0.00) 53.49 (+0.00) 53.48 (+0.00) 160.13 (+0.00)
870ba4 53.16 (-0.01) 53.48 (-0.00) 53.47 (-0.00) 160.12 (-0.00)
f5ca89 53.69 (+0.00) 53.50 (-0.01) 53.50 (-0.02) 160.69 (-0.01)
8bd565 53.56 (+0.01) 53.89 (+0.01) 54.40 (+0.02) 161.86 (+0.01)
dd22c8 53.06 (-0.01) 53.40 (-0.01) 53.39 (-0.02) 159.84 (-0.01)
299db9 53.51 (+0.01) 53.85 (+0.01) 54.36 (+0.01) 161.72 (+0.01)
93f3f4 53.13 (+0.01) 53.46 (+0.00) 53.98 (+0.02) 160.57 (+0.01)
f6e2e0 52.52 (-0.01) 53.37 (+0.00) 52.85 (-0.02) 158.74 (-0.01)
f6e2e0 53.03 (-0.00) 53.35 (-0.00) 53.86 (-0.00) 160.24 (-0.00)
f6e2e0 53.18 (-0.00) 53.52 (-0.00) 54.02 (-0.00) 160.72 (-0.00)
f1d960 53.36 (-0.00) 53.60 (-0.01) 54.15 (-0.00) 161.11 (-0.00)
4a9279 53.55 (+0.01) 53.88 (+0.01) 54.40 (+0.01) 161.84 (+0.01)
2e4bf7 53.00 (-0.00) 53.32 (-0.00) 53.84 (-0.00) 160.15 (-0.00)
ce8fbb 53.12 (+0.00) 53.44 (-0.01) 53.94 (+0.01) 160.50 (+0.00)
ce8fbb 53.02 (-0.00) 53.87 (+0.01) 53.35 (-0.01) 160.24 (-0.00)
ce8fbb 53.05 (-0.01) 53.37 (-0.01) 53.88 (+0.00) 160.31 (-0.00)
d1a0f2 53.47 (-0.00) 53.80 (+0.01) 53.80 (+0.01) 161.07 (+0.00)
ccf92d 53.69 (-0.00) 53.52 (-0.00) 53.51 (-0.00) 160.72 (-0.00)
02b8e0 53.82 (+0.01) 53.64 (-0.01) 53.63 (-0.00) 161.10 (-0.00)
7b9057 53.48 (+0.00) 54.31 (+0.01) 53.79 (-0.00) 161.58 (+0.00)
9cada8 53.23 (-0.01) 53.54 (-0.01) 54.05 (-0.01) 160.82 (-0.01)
9cada8 53.55 (+0.01) 53.88 (-0.00) 54.39 (+0.02) 161.82 (+0.01)
9cada8 53.05 (-0.00) 53.89 (+0.01) 53.38 (-0.00) 160.32 (-0.00)
a60f68 53.32 (-0.00) 53.53 (+0.00) 53.53 (+0.00) 160.38 (+0.00)
d19c52 53.58 (+0.01) 53.40 (-0.01) 53.38 (+0.00) 160.37 (+0.00)
000eb1 52.94 (-0.01) 53.79 (-0.00) 53.27 (-0.01) 160.00 (-0.01)
000eb1 53.53 (+0.00) 53.86 (+0.00) 53.85 (+0.00) 161.24 (+0.00)
f51b48 53.32 (+0.00) 53.66 (+0.00) 53.65 (+0.00) 160.63 (+0.00)
f51b48 53.30 (+0.00) 53.62 (+0.00) 53.62 (+0.00) 160.55 (+0.00)
f51b48 53.21 (-0.00) 53.53 (+0.01) 53.53 (+0.01) 160.26 (+0.00)
9f906f 53.29 (-0.02) 53.11 (-0.01) 53.10 (-0.01) 159.49 (-0.02)
0692ff 54.15 (+0.02) 53.88 (+0.01) 53.89 (+0.01) 161.92 (+0.02)
2caece 52.84 (+0.00) 53.17 (+0.00) 53.16 (-0.00) 159.17 (+0.00)
bc7d3c 52.59 (-0.02) 52.92 (-0.01) 53.42 (-0.01) 158.92 (-0.01)
2153d2 53.39 (+0.01) 53.71 (+0.01) 53.71 (+0.01) 160.81 (+0.01)
2153d2 53.08 (-0.00) 53.41 (-0.00) 53.40 (-0.00) 159.90 (-0.00)
2153d2 53.19 (-0.00) 53.52 (-0.00) 53.52 (-0.01) 160.23 (-0.01)
a1b062 53.37 (-0.01) 53.69 (-0.00) 54.20 (+0.01) 161.26 (-0.00)
1d9d7c 53.92 (+0.01) 53.74 (-0.00) 53.72 (-0.00) 161.39 (-0.00)
3569c1 53.61 (-0.01) 53.93 (+0.00) 53.92 (+0.00) 161.46 (-0.00)
eaff14 53.98 (+0.01) 53.79 (-0.00) 53.79 (-0.00) 161.56 (+0.00)
f383b4 53.59 (-0.00) 53.91 (+0.01) 53.93 (+0.01) 161.43 (+0.01)
f383b4 53.66 (+0.00) 53.47 (-0.01) 53.47 (-0.01) 160.60 (-0.01)
f383b4 53.42 (-0.00) 54.27 (+0.01) 53.75 (-0.01) 161.44 (-0.00)
a4256b 53.54 (+0.01) 53.86 (+0.01) 54.38 (+0.01) 161.78 (+0.01)
371493 53.20 (+0.01) 53.54 (+0.01) 54.05 (+0.02) 160.79 (+0.01)
c5c143 52.79 (-0.01) 53.13 (-0.02) 53.12 (-0.01) 159.05 (-0.01)
58fa4f 53.12 (-0.01) 53.98 (+0.01) 53.45 (+0.00) 160.55 (+0.00)
121d53 53.47 (-0.01) 53.28 (-0.01) 53.27 (-0.01) 160.02 (-0.01)
121d53 54.05 (+0.03) 53.85 (+0.01) 53.84 (+0.01) 161.74 (+0.02)
ec3a3a 52.73 (-0.00) 53.06 (-0.00) 53.05 (-0.01) 158.85 (-0.01)
96e783 52.90 (-0.00) 53.23 (-0.01) 53.73 (-0.01) 159.85 (-0.01)
567b71 53.00 (+0.00) 53.90 (+0.01) 54.14 (+0.02) 161.05 (+0.01)
847fc5 52.91 (+0.00) 53.23 (+0.00) 53.24 (+0.00) 159.39 (+0.00)
5e08b3 52.86 (+0.01) 53.19 (+0.01) 53.18 (-0.00) 159.23 (+0.01)
4d291d 52.37 (-0.02) 52.70 (-0.02) 53.23 (-0.01) 158.31 (-0.02)
4d291d 53.19 (-0.00) 54.03 (+0.01) 53.53 (-0.00) 160.75 (-0.00)
bf63f1 53.39 (-0.00) 53.72 (-0.01) 53.72 (-0.00) 160.83 (-0.01)
0a0958 53.50 (+0.02) 54.37 (+0.03) 53.85 (+0.01) 161.73 (+0.02)
aabca5 52.68 (+0.02) 53.02 (+0.02) 53.53 (+0.02) 159.24 (+0.02)
a4be54 51.76 (-0.04) 52.10 (-0.03) 52.61 (-0.02) 156.47 (-0.03)
a3d7ad 53.66 (+0.01) 53.49 (+0.00) 53.48 (+0.00) 160.64 (+0.00)
a3d7ad 53.13 (-0.01) 53.47 (+0.00) 53.46 (+0.00) 160.06 (-0.00)
8ba169 53.48 (+0.01) 53.31 (+0.01) 53.30 (+0.01) 160.09 (+0.01)
e5cc2f 52.84 (-0.01) 52.67 (-0.03) 52.66 (-0.02) 158.17 (-0.02)
c6b56d 53.32 (+0.02) 54.16 (+0.03) 53.64 (+0.02) 161.12 (+0.02)
e067cd 52.51 (+0.00) 52.84 (+0.01) 52.84 (+0.01) 158.19 (+0.00)
bce423 52.45 (-0.02) 52.56 (-0.02) 52.55 (-0.02) 157.57 (-0.02)
bce423 53.28 (+0.03) 53.64 (+0.03) 53.63 (+0.02) 160.56 (+0.03)
c28bfd 51.57 (-0.04) 51.92 (-0.04) 52.42 (-0.03) 155.92 (-0.03)
95bf19 53.54 (+0.01) 53.89 (+0.01) 53.88 (+0.01) 161.31 (+0.01)
95bf19 53.23 (+0.02) 53.55 (+0.02) 53.55 (+0.01) 160.33 (+0.02)
080752 52.12 (-0.03) 52.46 (-0.03) 52.97 (-0.02) 157.55 (-0.03)
23d5e2 53.55 (-0.00) 53.90 (+0.01) 54.25 (+0.02) 161.71 (+0.01)
23d5e2 53.62 (+0.01) 53.44 (+0.00) 53.44 (+0.00) 160.50 (+0.01)
8b710b 52.94 (+0.00) 53.27 (+0.00) 53.27 (+0.00) 159.48 (+0.00)
8c6e60 52.86 (-0.02) 53.19 (-0.01) 53.18 (-0.01) 159.23 (-0.01)
10dae7 53.68 (+0.02) 53.52 (+0.01) 53.52 (+0.01) 160.72 (+0.02)
4c4d3d 52.53 (-0.02) 52.87 (-0.02) 52.87 (-0.02) 158.27 (-0.02)
9f94d0 53.40 (+0.00) 53.74 (+0.00) 53.90 (+0.01) 161.04 (+0.00)
9f94d0 53.28 (-0.00) 53.63 (-0.01) 53.62 (-0.00) 160.53 (-0.00)
9f94d0 53.31 (+0.01) 54.16 (+0.02) 53.65 (+0.00) 161.12 (+0.01)
c700c7 52.57 (-0.02) 52.93 (-0.03) 53.43 (-0.01) 158.93 (-0.02)
42c6dd 53.56 (+0.01) 54.41 (+0.02) 53.90 (+0.00) 161.87 (+0.01)
f6bf7b 52.92 (+0.03) 53.26 (+0.03) 53.76 (+0.04) 159.94 (+0.03)
1137b5 51.34 (-0.04) 51.68 (-0.04) 51.66 (-0.04) 154.68 (-0.04)
1468c6 53.56 (+0.00) 53.90 (+0.00) 53.89 (-0.01) 161.35 (-0.00)
1468c6 53.52 (+0.00) 53.87 (-0.01) 54.38 (+0.01) 161.77 (+0.00)
c01f92 53.42 (+0.01) 54.29 (+0.02) 53.75 (+0.01) 161.47 (+0.02)
7ff591 52.68 (-0.01) 53.01 (-0.01) 53.00 (-0.02) 158.69 (-0.02)
5d4774 53.32 (-0.00) 53.66 (-0.00) 54.17 (-0.00) 161.15 (-0.00)
56d8c2 53.54 (+0.02) 53.87 (+0.03) 54.38 (+0.04) 161.79 (+0.03)
12e6f4 52.33 (-0.02) 52.15 (-0.04) 52.14 (-0.03) 156.62 (-0.03)
12e6f4 53.20 (-0.01) 54.05 (+0.00) 53.53 (-0.02) 160.79 (-0.01)
61194a 53.56 (+0.00) 53.92 (+0.01) 54.40 (+0.02) 161.88 (+0.01)
70ce01 53.48 (-0.00) 53.27 (-0.01) 53.27 (-0.02) 160.02 (-0.01)
c04c20 53.57 (-0.00) 53.90 (+0.00) 54.42 (+0.01) 161.89 (+0.00)
827ee1 53.57 (+0.00) 53.90 (+0.01) 53.90 (+0.01) 161.37 (+0.01)
22ae67 53.38 (-0.00) 53.19 (-0.01) 53.18 (-0.01) 159.75 (-0.01)
0f4458 53.59 (+0.00) 53.91 (+0.00) 53.91 (+0.00) 161.41 (+0.00)
0f4458 53.56 (-0.00) 53.91 (+0.00) 53.90 (-0.00) 161.37 (-0.00)
0f4458 53.57 (-0.00) 53.91 (+0.00) 53.91 (-0.01) 161.39 (-0.00)
b8a566 53.58 (+0.00) 53.91 (+0.00) 54.42 (+0.01) 161.91 (+0.00)
b8a566 53.58 (+0.10) 53.90 (+0.10) 53.90 (+0.10) 161.39 (+0.10)
9747e9 48.84 (-0.05) 49.20 (-0.05) 49.18 (-0.05) 147.22 (-0.05)
b50e07 51.39 (-0.03) 51.58 (-0.03) 51.58 (-0.03) 154.55 (-0.03)
6a57d5 53.10 (-0.01) 53.31 (-0.01) 53.29 (-0.01) 159.70 (-0.01)
c0480f 53.52 (+0.03) 53.71 (+0.04) 53.70 (+0.04) 160.92 (+0.04)
4f443c 51.92 (+0.01) 51.60 (+0.00) 51.59 (+0.00) 155.10 (+0.00)
4f443c 51.39 (-0.03) 51.57 (-0.03) 51.56 (-0.03) 154.51 (-0.03)
788823 52.95 (-0.01) 53.13 (-0.00) 53.11 (-0.00) 159.19 (-0.01)
c21104 53.64 (+0.03) 53.30 (+0.01) 53.28 (+0.00) 160.23 (+0.01)
b9544a 52.32 (-0.01) 52.53 (+0.00) 53.02 (+0.01) 157.87 (-0.00)
33834c 52.86 (+0.02) 52.51 (+0.01) 52.51 (-0.00) 157.89 (+0.01)
521667 51.90 (-0.00) 52.03 (+0.00) 52.56 (+0.01) 156.50 (+0.00)
361648 52.12 (-0.03) 51.80 (-0.05) 51.80 (-0.04) 155.73 (-0.04)
fc0629 53.56 54.27 53.75 161.58

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query26]

platform: rds-postgres

revision Q26/1 Q26/2 Q26/3 total_duration
41aa62 53.19 (-0.00) 53.52 (-0.00) 54.04 (+0.01) 160.75 (-0.00)
7b5489 53.39 (-0.01) 53.71 (+0.00) 53.69 (+0.00) 160.79 (-0.00)
a23b07 53.75 (+0.01) 53.56 (-0.00) 53.55 (-0.00) 160.85 (+0.00)
cc2d00 53.27 (+0.00) 53.58 (+0.00) 53.57 (-0.01) 160.42 (+0.00)
ba9df2 53.07 (-0.00) 53.39 (-0.00) 53.90 (+0.01) 160.36 (-0.00)
a8f354 53.27 (-0.01) 53.60 (-0.00) 53.60 (-0.00) 160.47 (-0.01)
7feb0d 53.95 (+0.03) 53.78 (+0.02) 53.76 (+0.02) 161.49 (+0.02)
982fce 52.42 (-0.00) 52.75 (-0.01) 52.74 (-0.00) 157.92 (-0.01)
1f151d 52.53 (-0.02) 53.37 (+0.00) 52.86 (-0.01) 158.76 (-0.01)
ff1a1a 53.36 (+0.02) 53.18 (-0.00) 53.16 (+0.01) 159.70 (+0.01)
b1477b 52.45 (-0.01) 53.29 (+0.00) 52.77 (-0.01) 158.51 (-0.01)
1b947f 53.25 (+0.02) 53.06 (+0.02) 53.04 (+0.02) 159.35 (+0.02)
a21b55 52.35 (+0.01) 52.16 (-0.00) 52.16 (-0.00) 156.67 (-0.00)
4ba950 52.08 (-0.01) 52.39 (-0.01) 52.37 (-0.01) 156.85 (-0.01)
4e359d 52.66 (-0.01) 52.98 (-0.00) 52.98 (-0.00) 158.62 (-0.01)
3837fc 53.33 (+0.01) 53.14 (+0.01) 53.14 (+0.01) 159.62 (+0.01)
edcf4d 52.79 (+0.00) 52.61 (-0.01) 52.61 (-0.01) 158.01 (-0.00)
411c71 52.66 (-0.01) 52.98 (-0.01) 52.98 (-0.01) 158.63 (-0.01)
854348 52.96 (+0.02) 53.28 (+0.02) 53.28 (+0.02) 159.52 (+0.02)
7ba5c2 52.15 (-0.01) 52.48 (-0.01) 52.47 (-0.01) 157.10 (-0.01)
ebea29 52.43 (-0.00) 53.28 (+0.01) 52.76 (-0.00) 158.46 (-0.00)
22c890 52.61 (-0.02) 52.94 (-0.01) 52.94 (-0.01) 158.49 (-0.01)
f0b2e0 53.61 (+0.01) 53.45 (+0.00) 53.43 (-0.01) 160.49 (+0.00)
dec580 52.99 (+0.00) 53.33 (-0.01) 53.84 (+0.01) 160.16 (+0.00)
dec580 52.87 (-0.01) 53.71 (-0.01) 53.20 (-0.01) 159.78 (-0.01)
b1c2a6 53.56 (-0.00) 54.40 (+0.01) 53.90 (+0.01) 161.86 (+0.01)
931094 53.77 (+0.00) 53.60 (-0.01) 53.58 (-0.01) 160.95 (-0.00)
957acb 53.58 (+0.00) 53.91 (+0.00) 53.90 (-0.01) 161.39 (-0.00)
846532 53.49 (+0.00) 53.82 (+0.00) 54.33 (+0.01) 161.63 (+0.01)
d733bc 53.23 (-0.01) 53.57 (-0.01) 53.56 (-0.01) 160.37 (-0.01)
75ffe3 53.57 (+0.01) 53.91 (+0.01) 53.91 (+0.01) 161.39 (+0.01)
75ffe3 52.89 (-0.00) 53.21 (-0.01) 53.20 (-0.00) 159.30 (-0.00)
bf4623 52.89 (-0.01) 53.73 (+0.01) 53.22 (+0.00) 159.85 (+0.00)
b26c83 53.40 (+0.01) 53.23 (-0.00) 53.21 (-0.00) 159.84 (+0.00)
9d714a 52.93 (-0.01) 53.26 (-0.00) 53.26 (-0.00) 159.45 (-0.00)
6efea4 53.48 (+0.02) 53.28 (+0.01) 53.29 (+0.01) 160.05 (+0.02)
4071ff 52.33 (-0.02) 52.67 (-0.02) 52.67 (-0.01) 157.68 (-0.02)
4071ff 53.14 (+0.00) 53.99 (+0.01) 53.46 (-0.01) 160.60 (+0.00)
870ba4 53.14 (-0.00) 53.47 (-0.00) 53.98 (-0.00) 160.58 (-0.00)
f5ca89 53.17 (-0.01) 53.48 (-0.01) 54.00 (+0.00) 160.65 (-0.00)
8bd565 53.54 (-0.00) 53.88 (+0.01) 53.87 (+0.01) 161.30 (+0.01)
dd22c8 53.56 (+0.00) 53.41 (-0.01) 53.35 (-0.01) 160.32 (-0.01)
299db9 53.50 (+0.01) 53.83 (+0.01) 53.83 (+0.01) 161.16 (+0.01)
93f3f4 53.11 (+0.01) 53.45 (+0.01) 53.44 (+0.01) 159.99 (+0.01)
f6e2e0 52.51 (-0.01) 52.83 (-0.01) 52.82 (-0.01) 158.17 (-0.01)
f6e2e0 53.02 (-0.00) 53.33 (-0.00) 53.33 (-0.00) 159.68 (-0.00)
f6e2e0 53.16 (-0.00) 53.50 (-0.00) 53.48 (-0.00) 160.15 (-0.00)
f1d960 53.30 (-0.00) 53.63 (-0.00) 53.62 (-0.00) 160.55 (-0.00)
4a9279 53.53 (+0.01) 53.87 (+0.01) 53.87 (+0.01) 161.27 (+0.01)
2e4bf7 52.97 (-0.00) 53.31 (-0.00) 53.30 (-0.00) 159.58 (-0.00)
ce8fbb 53.11 (+0.00) 53.42 (+0.00) 53.41 (+0.00) 159.95 (+0.00)
ce8fbb 53.01 (-0.00) 53.33 (-0.00) 53.33 (-0.00) 159.68 (-0.00)
ce8fbb 53.03 (-0.01) 53.36 (-0.02) 53.34 (-0.01) 159.74 (-0.01)
d1a0f2 53.45 (+0.01) 54.42 (+0.02) 53.66 (+0.00) 161.53 (+0.01)
ccf92d 53.17 (-0.00) 53.52 (-0.00) 53.47 (-0.00) 160.16 (-0.00)
02b8e0 53.31 (-0.00) 53.60 (-0.00) 53.62 (-0.00) 160.53 (-0.00)
7b9057 53.47 (+0.00) 53.77 (+0.00) 53.77 (+0.00) 161.02 (+0.00)
9cada8 53.21 (-0.01) 53.52 (-0.01) 53.52 (-0.01) 160.25 (-0.01)
9cada8 53.54 (+0.01) 53.86 (+0.01) 53.86 (+0.01) 161.26 (+0.01)
9cada8 53.04 (-0.01) 53.36 (-0.04) 53.36 (-0.00) 159.76 (-0.02)
a60f68 53.76 (+0.01) 55.48 (+0.04) 53.50 (-0.01) 162.74 (+0.01)
d19c52 53.07 (+0.00) 53.37 (+0.00) 53.89 (+0.01) 160.33 (+0.01)
000eb1 52.93 (-0.02) 53.25 (-0.01) 53.25 (-0.01) 159.44 (-0.01)
000eb1 54.03 (+0.00) 53.84 (+0.00) 53.84 (+0.00) 161.71 (+0.00)
f51b48 53.82 (+0.00) 53.65 (+0.00) 53.63 (+0.00) 161.10 (+0.00)
f51b48 53.79 (+0.01) 53.61 (-0.01) 53.60 (+0.00) 161.00 (+0.00)
f51b48 53.20 (+0.01) 54.03 (+0.02) 53.51 (-0.00) 160.75 (+0.01)
9f906f 52.75 (-0.02) 53.09 (-0.01) 53.59 (-0.01) 159.42 (-0.02)
0692ff 53.61 (+0.01) 53.87 (+0.01) 54.38 (+0.02) 161.86 (+0.01)
2caece 53.33 (+0.01) 53.16 (+0.00) 53.14 (+0.00) 159.62 (+0.01)
bc7d3c 52.57 (-0.01) 52.90 (-0.02) 52.89 (-0.02) 158.36 (-0.02)
2153d2 53.37 (+0.01) 54.21 (+0.02) 53.70 (-0.00) 161.28 (+0.01)
2153d2 53.07 (-0.01) 53.39 (-0.00) 53.90 (+0.01) 160.36 (-0.00)
2153d2 53.68 (-0.03) 53.51 (-0.00) 53.50 (-0.00) 160.69 (-0.01)
a1b062 55.12 (+0.03) 53.68 (-0.00) 53.67 (-0.00) 162.47 (+0.01)
1d9d7c 53.40 (-0.01) 53.71 (-0.00) 53.71 (-0.00) 160.81 (-0.01)
3569c1 54.10 (+0.01) 53.91 (+0.00) 53.91 (-0.01) 161.92 (+0.00)
eaff14 53.44 (-0.00) 53.77 (-0.00) 54.27 (-0.00) 161.49 (-0.00)
f383b4 53.56 (+0.01) 53.90 (+0.01) 54.41 (+0.02) 161.87 (+0.01)
f383b4 53.13 (-0.01) 53.46 (-0.01) 53.45 (-0.01) 160.04 (-0.01)
f383b4 53.40 (-0.00) 53.73 (-0.00) 53.72 (-0.00) 160.86 (-0.00)
a4256b 53.52 (+0.01) 53.85 (+0.01) 53.83 (+0.01) 161.20 (+0.01)
371493 53.19 (-0.00) 53.52 (+0.01) 53.52 (+0.01) 160.23 (+0.00)
c5c143 53.29 (+0.00) 53.11 (-0.01) 53.11 (-0.01) 159.52 (-0.00)
58fa4f 53.11 (+0.00) 53.44 (+0.00) 53.43 (+0.00) 159.98 (+0.00)
121d53 52.93 (-0.01) 53.26 (-0.01) 53.25 (-0.01) 159.44 (-0.01)
121d53 53.51 (+0.02) 53.83 (+0.01) 53.83 (+0.00) 161.17 (+0.01)
ec3a3a 52.71 (-0.00) 53.04 (-0.00) 53.56 (+0.01) 159.31 (+0.00)
96e783 52.89 (-0.00) 53.20 (-0.01) 53.20 (-0.00) 159.29 (-0.01)
567b71 52.98 (+0.00) 53.83 (+0.01) 53.31 (-0.01) 160.11 (+0.00)
847fc5 52.89 (+0.00) 53.22 (+0.00) 53.74 (+0.00) 159.85 (+0.00)
5e08b3 52.84 (+0.01) 53.17 (+0.01) 53.68 (+0.02) 159.69 (+0.01)
4d291d 52.38 (-0.01) 52.69 (-0.02) 52.69 (-0.02) 157.76 (-0.02)
4d291d 53.17 (-0.01) 53.51 (-0.01) 53.50 (-0.00) 160.18 (-0.01)
bf63f1 53.88 (+0.01) 54.21 (+0.01) 53.69 (-0.00) 161.79 (+0.00)
0a0958 53.49 (-0.00) 53.84 (+0.01) 53.82 (+0.02) 161.15 (+0.01)
aabca5 53.61 (+0.03) 53.31 (+0.02) 52.98 (+0.02) 159.90 (+0.02)
a4be54 52.07 (-0.02) 52.08 (-0.03) 52.08 (-0.04) 156.23 (-0.03)
a3d7ad 53.13 (-0.01) 53.47 (+0.00) 53.98 (+0.01) 160.59 (+0.00)
a3d7ad 53.61 (+0.01) 53.46 (+0.00) 53.45 (+0.00) 160.52 (+0.01)
8ba169 52.94 (+0.01) 53.29 (+0.01) 53.27 (+0.01) 159.51 (+0.01)
e5cc2f 52.30 (-0.02) 52.69 (-0.02) 52.60 (-0.02) 157.59 (-0.02)
c6b56d 53.29 (+0.02) 53.63 (+0.01) 53.62 (+0.02) 160.54 (+0.01)
e067cd 52.47 (+0.00) 53.35 (+0.02) 52.82 (-0.00) 158.65 (+0.01)
bce423 52.21 (-0.02) 52.54 (-0.03) 53.06 (-0.01) 157.81 (-0.02)
bce423 53.28 (+0.03) 54.14 (+0.04) 53.62 (+0.03) 161.04 (+0.04)
c28bfd 51.57 (-0.05) 51.90 (-0.04) 51.89 (-0.04) 155.36 (-0.04)
95bf19 54.05 (+0.02) 53.88 (+0.01) 53.87 (-0.00) 161.80 (+0.01)
95bf19 53.19 (+0.02) 53.54 (+0.02) 54.05 (+0.03) 160.78 (+0.02)
080752 52.11 (-0.03) 52.44 (-0.04) 52.44 (-0.03) 156.99 (-0.03)
23d5e2 53.53 (+0.01) 54.39 (+0.02) 53.87 (-0.00) 161.79 (+0.01)
23d5e2 53.08 (+0.00) 53.43 (+0.00) 53.97 (+0.00) 160.48 (+0.00)
8b710b 52.93 (+0.00) 53.25 (-0.01) 53.77 (+0.01) 159.96 (+0.00)
8c6e60 52.83 (-0.01) 53.69 (+0.00) 53.27 (-0.00) 159.80 (-0.00)
10dae7 53.15 (+0.01) 53.50 (+0.00) 53.49 (+0.01) 160.14 (+0.01)
4c4d3d 52.52 (-0.02) 53.37 (-0.01) 52.85 (-0.03) 158.74 (-0.02)
9f94d0 53.38 (-0.01) 53.71 (+0.00) 54.23 (+0.01) 161.32 (+0.00)
9f94d0 53.77 (+0.01) 53.61 (-0.00) 53.61 (-0.00) 160.99 (+0.00)
9f94d0 53.29 (+0.01) 53.63 (+0.01) 53.62 (+0.01) 160.54 (+0.01)
c700c7 52.55 (-0.02) 52.91 (-0.02) 52.90 (-0.02) 158.36 (-0.02)
42c6dd 53.54 (+0.01) 53.88 (+0.01) 53.87 (+0.01) 161.30 (+0.01)
f6bf7b 52.89 (+0.03) 53.24 (+0.02) 53.23 (+0.03) 159.36 (+0.03)
1137b5 51.32 (-0.05) 52.17 (-0.03) 51.65 (-0.04) 155.14 (-0.04)
1468c6 54.06 (+0.01) 53.88 (+0.00) 53.88 (+0.00) 161.81 (+0.00)
1468c6 53.52 (+0.00) 53.85 (+0.00) 53.84 (+0.00) 161.21 (+0.00)
c01f92 53.42 (+0.01) 53.75 (+0.01) 53.74 (+0.00) 160.91 (+0.01)
7ff591 52.66 (-0.01) 52.99 (-0.01) 53.50 (-0.00) 159.15 (-0.01)
5d4774 53.31 (-0.00) 53.64 (-0.00) 53.63 (-0.00) 160.59 (-0.00)
56d8c2 53.52 (+0.03) 53.90 (+0.03) 53.80 (+0.03) 161.22 (+0.03)
12e6f4 51.80 (-0.03) 52.13 (-0.03) 52.13 (-0.03) 156.06 (-0.03)
12e6f4 53.26 (-0.01) 53.52 (-0.01) 53.51 (-0.01) 160.29 (-0.01)
61194a 53.55 (+0.01) 53.89 (+0.01) 53.88 (+0.00) 161.32 (+0.01)
70ce01 52.93 (-0.01) 53.26 (-0.01) 53.77 (-0.00) 159.95 (-0.01)
c04c20 53.56 (+0.00) 53.89 (-0.01) 53.88 (-0.00) 161.33 (-0.00)
827ee1 53.54 (+0.01) 54.41 (+0.02) 53.88 (+0.01) 161.83 (+0.02)
22ae67 52.85 (-0.01) 53.17 (-0.01) 53.16 (-0.02) 159.18 (-0.02)
0f4458 53.57 (-0.01) 53.89 (-0.00) 54.40 (+0.01) 161.86 (+0.00)
0f4458 54.07 (+0.01) 53.89 (-0.01) 53.88 (-0.00) 161.85 (+0.00)
0f4458 53.54 (-0.00) 54.41 (+0.01) 53.89 (-0.00) 161.84 (+0.00)
b8a566 53.57 (+0.00) 53.89 (+0.00) 53.89 (-0.01) 161.36 (-0.00)
b8a566 53.54 (+0.08) 53.89 (+0.10) 54.40 (+0.11) 161.84 (+0.10)
9747e9 49.35 (-0.04) 49.18 (-0.06) 49.17 (-0.05) 147.70 (-0.05)
b50e07 51.39 (-0.03) 52.08 (-0.03) 51.56 (-0.03) 155.03 (-0.03)
6a57d5 53.09 (-0.01) 53.81 (+0.00) 53.28 (-0.02) 160.18 (-0.01)
c0480f 53.50 (+0.04) 53.69 (+0.04) 54.20 (+0.05) 161.39 (+0.04)
4f443c 51.38 (-0.01) 51.57 (+0.00) 51.57 (+0.00) 154.53 (-0.00)
4f443c 51.87 (-0.02) 51.55 (-0.03) 51.55 (-0.04) 154.96 (-0.03)
788823 52.91 (-0.00) 53.10 (-0.00) 53.62 (+0.01) 159.63 (-0.00)
c21104 53.09 (+0.01) 53.27 (+0.01) 53.27 (+0.01) 159.64 (+0.01)
b9544a 52.32 (+0.00) 52.50 (+0.00) 52.49 (-0.00) 157.31 (+0.00)
33834c 52.32 (+0.01) 52.50 (+0.01) 52.49 (+0.01) 157.31 (+0.01)
521667 51.86 (+0.01) 52.04 (+0.00) 52.03 (+0.00) 155.94 (+0.01)
361648 51.59 (-0.04) 51.78 (-0.04) 51.78 (-0.04) 155.16 (-0.04)
fc0629 53.54 53.74 53.73 161.02

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query27]

platform: rds-postgres

revision Q27/1 Q27/2 Q27/3 total_duration
41aa62 53.19 (-0.00) 53.51 (-0.01) 53.51 (-0.00) 160.20 (-0.01)
7b5489 53.36 (+0.00) 54.20 (+0.01) 53.69 (-0.01) 161.25 (+0.00)
a23b07 53.22 (-0.00) 53.55 (-0.01) 54.04 (+0.01) 160.81 (-0.00)
cc2d00 53.24 (+0.00) 54.08 (+0.01) 53.57 (+0.00) 160.89 (+0.01)
ba9df2 53.07 (-0.00) 53.36 (-0.01) 53.37 (-0.00) 159.80 (-0.01)
a8f354 53.25 (-0.00) 54.09 (+0.01) 53.58 (-0.00) 160.93 (-0.00)
7feb0d 53.46 (+0.02) 53.75 (+0.01) 53.74 (+0.02) 160.95 (+0.02)
982fce 52.42 (-0.00) 53.24 (+0.01) 52.73 (-0.00) 158.40 (+0.00)
1f151d 52.53 (-0.01) 52.83 (-0.01) 52.84 (-0.01) 158.20 (-0.01)
ff1a1a 52.85 (+0.01) 53.15 (+0.01) 53.15 (+0.01) 159.15 (+0.01)
b1477b 52.44 (-0.01) 52.76 (-0.01) 52.74 (-0.01) 157.95 (-0.01)
1b947f 52.74 (+0.02) 53.03 (+0.02) 53.03 (+0.02) 158.80 (+0.02)
a21b55 51.83 (-0.00) 52.14 (-0.01) 52.14 (-0.00) 156.10 (-0.01)
4ba950 52.06 (-0.01) 52.88 (-0.01) 52.36 (-0.01) 157.30 (-0.01)
4e359d 52.66 (-0.00) 53.48 (+0.01) 52.97 (-0.00) 159.11 (+0.00)
3837fc 52.81 (+0.01) 53.12 (+0.01) 53.13 (+0.01) 159.07 (+0.01)
edcf4d 52.27 (-0.01) 52.58 (-0.02) 52.58 (-0.01) 157.44 (-0.01)
411c71 52.65 (-0.01) 53.49 (+0.00) 52.96 (-0.02) 159.10 (-0.01)
854348 52.95 (+0.02) 53.27 (+0.02) 53.78 (+0.02) 159.99 (+0.02)
7ba5c2 52.14 (-0.01) 52.46 (-0.01) 52.97 (+0.00) 157.57 (-0.00)
ebea29 52.43 (-0.01) 52.74 (-0.00) 52.73 (-0.00) 157.90 (-0.01)
22c890 53.12 (+0.00) 52.93 (-0.01) 52.93 (-0.01) 158.99 (-0.01)
f0b2e0 53.10 (+0.00) 53.41 (+0.00) 53.42 (+0.00) 159.94 (+0.00)
dec580 52.99 (+0.00) 53.31 (+0.00) 53.30 (+0.00) 159.61 (+0.00)
dec580 52.86 (-0.01) 53.18 (-0.01) 53.17 (-0.01) 159.22 (-0.01)
b1c2a6 53.55 (+0.01) 53.87 (+0.01) 53.87 (-0.00) 161.30 (+0.00)
931094 53.25 (-0.02) 53.57 (-0.01) 54.08 (+0.00) 160.91 (-0.01)
957acb 54.09 (+0.01) 53.90 (+0.00) 53.88 (+0.00) 161.87 (+0.00)
846532 53.49 (+0.00) 53.80 (-0.01) 53.79 (+0.00) 161.08 (+0.00)
d733bc 53.24 (-0.01) 54.07 (-0.01) 53.55 (-0.01) 160.86 (-0.01)
75ffe3 53.58 (+0.01) 54.41 (+0.02) 53.89 (+0.00) 161.88 (+0.01)
75ffe3 52.88 (-0.00) 53.19 (-0.00) 53.72 (+0.01) 159.79 (+0.00)
bf4623 52.89 (+0.00) 53.27 (+0.00) 53.14 (-0.00) 159.30 (+0.00)
b26c83 52.88 (-0.01) 53.20 (-0.00) 53.19 (-0.00) 159.28 (-0.00)
9d714a 53.44 (+0.01) 53.26 (-0.00) 53.23 (-0.00) 159.93 (+0.00)
6efea4 52.96 (+0.00) 53.27 (+0.01) 53.26 (+0.01) 159.48 (+0.01)
4071ff 52.77 (-0.01) 52.66 (-0.01) 52.65 (-0.01) 158.08 (-0.01)
4071ff 53.14 (+0.00) 53.45 (+0.00) 53.45 (-0.00) 160.04 (-0.00)
870ba4 53.13 (-0.00) 53.45 (-0.00) 53.47 (+0.00) 160.05 (-0.00)
f5ca89 53.16 (-0.01) 53.47 (-0.01) 53.46 (-0.02) 160.09 (-0.01)
8bd565 53.54 (+0.01) 53.86 (+0.01) 54.37 (+0.02) 161.78 (+0.01)
dd22c8 53.04 (-0.01) 53.36 (-0.01) 53.35 (-0.02) 159.76 (-0.01)
299db9 53.49 (+0.01) 53.82 (+0.01) 54.33 (+0.01) 161.64 (+0.01)
93f3f4 53.10 (+0.01) 53.43 (+0.00) 53.94 (+0.02) 160.48 (+0.01)
f6e2e0 52.50 (-0.01) 53.33 (+0.00) 52.81 (-0.02) 158.65 (-0.01)
f6e2e0 53.00 (-0.00) 53.31 (-0.00) 53.83 (-0.00) 160.15 (-0.00)
f6e2e0 53.16 (-0.00) 53.47 (-0.00) 53.99 (-0.00) 160.62 (-0.00)
f1d960 53.29 (-0.00) 53.61 (-0.01) 54.12 (+0.01) 161.02 (-0.00)
4a9279 53.53 (+0.01) 54.37 (+0.02) 53.84 (+0.00) 161.74 (+0.01)
2e4bf7 52.97 (-0.00) 53.29 (-0.00) 53.80 (-0.00) 160.06 (-0.00)
ce8fbb 53.09 (+0.00) 53.40 (-0.01) 53.92 (+0.01) 160.41 (+0.00)
ce8fbb 53.00 (-0.00) 53.83 (+0.01) 53.31 (-0.01) 160.15 (-0.00)
ce8fbb 53.02 (-0.01) 53.34 (-0.01) 53.85 (+0.00) 160.21 (-0.00)
d1a0f2 53.44 (-0.00) 53.77 (+0.01) 53.76 (+0.01) 160.97 (+0.00)
ccf92d 53.68 (-0.00) 53.47 (-0.00) 53.48 (-0.00) 160.63 (-0.00)
02b8e0 53.80 (-0.00) 53.61 (-0.00) 53.60 (-0.00) 161.01 (-0.00)
7b9057 53.97 (+0.01) 53.77 (-0.00) 53.75 (+0.00) 161.48 (+0.00)
9cada8 53.19 (-0.01) 54.02 (-0.01) 53.51 (-0.01) 160.72 (-0.01)
9cada8 53.53 (+0.01) 54.35 (+0.01) 53.85 (+0.01) 161.73 (+0.01)
9cada8 53.02 (-0.00) 53.86 (+0.01) 53.35 (-0.01) 160.23 (-0.00)
a60f68 53.25 (+0.00) 53.49 (+0.00) 54.01 (+0.01) 160.75 (+0.01)
d19c52 53.04 (+0.00) 53.36 (-0.01) 53.36 (+0.00) 159.77 (-0.00)
000eb1 52.94 (-0.01) 53.75 (-0.00) 53.24 (-0.01) 159.93 (-0.01)
000eb1 53.50 (+0.00) 53.82 (+0.00) 53.82 (-0.01) 161.15 (+0.00)
f51b48 53.31 (+0.00) 53.63 (+0.00) 54.13 (+0.01) 161.07 (+0.00)
f51b48 53.28 (+0.00) 53.58 (+0.00) 53.59 (+0.00) 160.45 (+0.00)
f51b48 53.18 (+0.01) 53.50 (+0.01) 53.49 (+0.01) 160.17 (+0.01)
9f906f 52.75 (-0.02) 53.07 (-0.01) 53.05 (-0.01) 158.87 (-0.02)
0692ff 53.60 (+0.01) 53.86 (+0.01) 53.85 (+0.01) 161.31 (+0.01)
2caece 52.82 (+0.00) 53.13 (+0.00) 53.13 (-0.00) 159.07 (+0.00)
bc7d3c 52.57 (-0.01) 52.87 (-0.02) 53.39 (-0.01) 158.83 (-0.01)
2153d2 53.36 (+0.01) 53.68 (+0.01) 53.67 (+0.01) 160.72 (+0.01)
2153d2 53.07 (-0.00) 53.37 (-0.00) 53.37 (-0.00) 159.81 (-0.00)
2153d2 53.16 (-0.00) 53.49 (-0.01) 53.48 (-0.00) 160.13 (-0.01)
a1b062 53.35 (-0.01) 54.19 (+0.01) 53.64 (-0.00) 161.18 (-0.00)
1d9d7c 53.90 (+0.01) 53.70 (-0.00) 53.70 (-0.00) 161.30 (-0.00)
3569c1 53.57 (+0.00) 53.89 (+0.00) 53.89 (+0.00) 161.36 (+0.00)
eaff14 53.44 (-0.00) 53.75 (-0.00) 53.74 (-0.00) 160.94 (-0.00)
f383b4 53.55 (-0.00) 53.89 (+0.01) 53.86 (+0.01) 161.30 (+0.00)
f383b4 53.66 (-0.00) 53.44 (-0.01) 53.43 (-0.01) 160.53 (-0.01)
f383b4 53.92 (+0.01) 53.72 (-0.01) 53.71 (-0.00) 161.35 (-0.00)
a4256b 53.52 (+0.01) 54.34 (+0.01) 53.82 (+0.01) 161.68 (+0.01)
371493 53.19 (+0.01) 54.01 (+0.02) 53.50 (+0.01) 160.70 (+0.01)
c5c143 52.78 (-0.01) 53.09 (-0.02) 53.11 (-0.01) 158.97 (-0.01)
58fa4f 53.10 (-0.01) 53.94 (+0.01) 53.42 (+0.00) 160.46 (+0.00)
121d53 53.48 (-0.01) 53.24 (-0.01) 53.24 (-0.01) 159.96 (-0.01)
121d53 54.02 (+0.02) 53.82 (+0.01) 53.81 (+0.01) 161.65 (+0.02)
ec3a3a 52.71 (-0.00) 53.03 (-0.00) 53.02 (-0.01) 158.76 (-0.01)
96e783 52.88 (-0.00) 53.19 (-0.00) 53.70 (+0.01) 159.77 (+0.00)
567b71 52.97 (+0.00) 53.29 (+0.00) 53.29 (+0.00) 159.56 (+0.00)
847fc5 52.89 (+0.00) 53.21 (+0.00) 53.20 (+0.00) 159.29 (+0.00)
5e08b3 52.83 (+0.01) 53.15 (-0.00) 53.15 (+0.01) 159.14 (+0.01)
4d291d 52.36 (-0.02) 53.19 (-0.02) 52.67 (-0.02) 158.22 (-0.02)
4d291d 53.17 (-0.00) 54.01 (+0.01) 53.48 (-0.01) 160.65 (-0.00)
bf63f1 53.38 (-0.01) 53.68 (-0.00) 54.20 (+0.01) 161.27 (-0.00)
0a0958 54.03 (+0.03) 53.82 (+0.02) 53.81 (+0.01) 161.65 (+0.02)
aabca5 52.67 (+0.02) 52.99 (+0.02) 53.50 (+0.02) 159.15 (+0.02)
a4be54 51.73 (-0.03) 52.06 (-0.03) 52.57 (-0.02) 156.37 (-0.02)
a3d7ad 53.15 (+0.00) 53.45 (+0.00) 53.44 (+0.00) 160.05 (+0.00)
a3d7ad 53.11 (-0.01) 53.43 (+0.00) 53.43 (+0.00) 159.98 (-0.00)
8ba169 53.47 (+0.01) 53.27 (+0.01) 53.27 (+0.01) 160.01 (+0.01)
e5cc2f 52.82 (-0.01) 52.63 (-0.03) 52.63 (-0.02) 158.08 (-0.02)
c6b56d 53.27 (+0.00) 54.13 (+0.03) 53.60 (+0.02) 161.01 (+0.01)
e067cd 53.14 (+0.02) 52.81 (+0.01) 52.80 (+0.01) 158.75 (+0.01)
bce423 52.21 (-0.02) 52.53 (-0.02) 52.52 (-0.02) 157.27 (-0.02)
bce423 53.28 (+0.03) 53.60 (+0.03) 53.59 (+0.02) 160.47 (+0.03)
c28bfd 51.57 (-0.04) 51.88 (-0.04) 52.40 (-0.03) 155.85 (-0.03)
95bf19 53.51 (+0.01) 53.85 (+0.01) 53.85 (+0.01) 161.22 (+0.01)
95bf19 53.20 (+0.02) 53.52 (+0.02) 53.51 (+0.01) 160.23 (+0.02)
080752 52.11 (-0.03) 52.42 (-0.03) 52.94 (-0.02) 157.47 (-0.02)
23d5e2 53.57 (+0.01) 53.83 (+0.01) 53.85 (+0.01) 161.25 (+0.01)
23d5e2 53.09 (+0.00) 53.41 (+0.00) 53.40 (+0.00) 159.90 (+0.00)
8b710b 52.91 (-0.01) 53.24 (+0.01) 53.23 (+0.00) 159.38 (+0.00)
8c6e60 53.18 (-0.01) 52.90 (-0.01) 53.14 (-0.01) 159.23 (-0.01)
10dae7 53.67 (+0.02) 53.48 (+0.01) 53.48 (+0.01) 160.63 (+0.02)
4c4d3d 52.51 (-0.02) 52.83 (-0.02) 52.83 (-0.02) 158.18 (-0.02)
9f94d0 53.38 (+0.00) 53.70 (+0.00) 53.69 (-0.01) 160.78 (-0.00)
9f94d0 53.34 (-0.01) 53.51 (-0.00) 54.10 (+0.01) 160.95 (-0.00)
9f94d0 53.81 (+0.02) 53.61 (+0.01) 53.61 (+0.00) 161.03 (+0.01)
c700c7 52.55 (-0.02) 52.89 (-0.03) 53.40 (-0.01) 158.84 (-0.02)
42c6dd 53.53 (+0.01) 54.38 (+0.01) 53.86 (+0.01) 161.78 (+0.01)
f6bf7b 52.89 (+0.03) 53.74 (+0.04) 53.22 (+0.03) 159.85 (+0.03)
1137b5 51.33 (-0.04) 51.64 (-0.04) 51.63 (-0.05) 154.60 (-0.04)
1468c6 53.55 (+0.00) 53.86 (+0.00) 54.36 (+0.00) 161.78 (+0.00)
1468c6 53.51 (-0.01) 53.83 (+0.00) 54.35 (+0.01) 161.69 (+0.00)
c01f92 53.93 (+0.02) 53.73 (+0.01) 53.72 (+0.01) 161.38 (+0.02)
7ff591 52.65 (-0.01) 52.98 (-0.02) 52.98 (-0.01) 158.60 (-0.02)
5d4774 53.30 (-0.00) 54.14 (+0.01) 53.62 (-0.01) 161.06 (-0.00)
56d8c2 53.50 (+0.02) 53.83 (+0.03) 54.35 (+0.04) 161.69 (+0.03)
12e6f4 52.30 (-0.03) 52.12 (-0.03) 52.11 (-0.03) 156.54 (-0.03)
12e6f4 53.70 (+0.00) 53.50 (-0.01) 53.49 (-0.02) 160.69 (-0.01)
61194a 53.55 (+0.01) 53.87 (+0.01) 54.38 (+0.02) 161.80 (+0.02)
70ce01 52.93 (-0.01) 53.24 (-0.02) 53.24 (-0.01) 159.41 (-0.01)
c04c20 53.55 (-0.00) 54.38 (+0.01) 53.87 (+0.00) 161.81 (+0.00)
827ee1 53.57 (+0.00) 53.86 (+0.01) 53.86 (+0.01) 161.29 (+0.01)
22ae67 53.38 (-0.00) 53.15 (-0.01) 53.15 (-0.01) 159.68 (-0.01)
0f4458 53.56 (-0.00) 53.88 (+0.00) 53.87 (-0.00) 161.31 (+0.00)
0f4458 53.59 (+0.00) 53.83 (-0.00) 53.87 (+0.00) 161.30 (+0.00)
0f4458 53.56 (+0.00) 53.87 (-0.00) 53.87 (-0.01) 161.29 (-0.00)
b8a566 53.55 (-0.00) 53.88 (+0.00) 54.38 (+0.01) 161.81 (+0.00)
b8a566 53.55 (+0.10) 53.87 (+0.10) 53.87 (+0.09) 161.29 (+0.10)
9747e9 48.83 (-0.05) 49.16 (-0.05) 49.20 (-0.05) 147.19 (-0.05)
b50e07 51.37 (-0.03) 51.54 (-0.03) 51.55 (-0.03) 154.47 (-0.03)
6a57d5 53.08 (-0.01) 53.26 (-0.01) 53.27 (-0.01) 159.62 (-0.01)
c0480f 53.49 (+0.03) 53.68 (+0.04) 53.65 (+0.04) 160.82 (+0.04)
4f443c 51.88 (+0.01) 51.56 (+0.00) 51.56 (+0.00) 154.99 (+0.00)
4f443c 51.35 (-0.03) 51.53 (-0.03) 51.52 (-0.03) 154.40 (-0.03)
788823 52.89 (-0.01) 53.09 (-0.00) 53.07 (-0.00) 159.05 (-0.01)
c21104 53.59 (+0.02) 53.25 (+0.01) 53.25 (+0.00) 160.09 (+0.01)
b9544a 52.30 (-0.01) 52.48 (-0.00) 52.99 (+0.01) 157.77 (-0.00)
33834c 52.81 (+0.02) 52.48 (-0.00) 52.48 (+0.01) 157.78 (+0.01)
521667 51.83 (-0.00) 52.56 (+0.02) 52.00 (+0.00) 156.38 (+0.00)
361648 52.08 (-0.03) 51.77 (-0.05) 51.78 (-0.04) 155.62 (-0.04)
fc0629 53.54 54.23 53.71 161.49

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query28]

platform: rds-postgres

revision Q28/1 Q28/2 Q28/3 total_duration
41aa62 83.43 (+0.03) 84.45 (+0.05) 83.17 (+0.03) 251.06 (+0.04)
7b5489 80.61 (-0.04) 80.81 (-0.04) 80.39 (-0.04) 241.82 (-0.04)
a23b07 84.13 (-0.00) 83.79 (-0.01) 83.97 (-0.01) 251.89 (-0.01)
cc2d00 84.51 (-0.00) 84.63 (-0.00) 84.90 (+0.00) 254.03 (-0.00)
ba9df2 84.67 (-0.00) 84.89 (+0.01) 84.88 (-0.00) 254.44 (+0.00)
a8f354 84.75 (+0.01) 84.38 (+0.01) 85.03 (+0.02) 254.17 (+0.01)
7feb0d 83.90 (+0.04) 83.69 (+0.04) 83.10 (+0.02) 250.69 (+0.04)
982fce 80.57 (-0.01) 80.30 (-0.00) 81.20 (+0.00) 242.07 (-0.00)
1f151d 81.45 (+0.00) 80.33 (-0.01) 81.04 (+0.01) 242.82 (+0.00)
ff1a1a 81.20 (+0.00) 80.96 (+0.00) 80.52 (-0.00) 242.68 (+0.00)
b1477b 80.94 (-0.01) 80.56 (-0.02) 80.90 (-0.01) 242.39 (-0.01)
1b947f 82.15 (-0.00) 81.96 (+0.01) 81.57 (+0.01) 245.69 (+0.00)
a21b55 82.29 (+0.01) 81.41 (-0.00) 81.02 (-0.01) 244.71 (+0.00)
4ba950 81.21 (-0.00) 81.68 (-0.00) 81.61 (-0.01) 244.50 (-0.00)
4e359d 81.48 (+0.01) 81.76 (+0.01) 82.28 (+0.02) 245.53 (+0.01)
3837fc 81.06 (-0.01) 80.86 (-0.00) 81.04 (+0.00) 242.97 (-0.00)
edcf4d 81.51 (-0.01) 81.00 (-0.01) 80.93 (-0.02) 243.44 (-0.01)
411c71 82.21 (+0.00) 81.94 (+0.01) 82.68 (+0.01) 246.83 (+0.01)
854348 81.98 (+0.01) 81.37 (-0.01) 82.23 (+0.01) 245.57 (+0.00)
7ba5c2 81.52 (+0.06) 82.18 (+0.07) 81.54 (+0.06) 245.25 (+0.06)
ebea29 77.18 (+0.00) 76.87 (+0.00) 76.79 (-0.00) 230.84 (+0.00)
22c890 76.95 (+0.00) 76.53 (-0.00) 76.91 (+0.01) 230.39 (+0.00)
f0b2e0 76.69 (-0.00) 76.83 (-0.01) 76.39 (-0.01) 229.90 (-0.01)
dec580 76.74 (+0.00) 77.25 (-0.01) 77.38 (+0.00) 231.38 (+0.00)
dec580 76.44 (-0.01) 77.80 (+0.01) 77.08 (+0.00) 231.31 (+0.00)
b1c2a6 76.91 (-0.01) 77.02 (+0.00) 76.76 (-0.01) 230.69 (-0.01)
931094 78.06 (+0.02) 76.67 (+0.00) 77.62 (+0.00) 232.36 (+0.01)
957acb 76.56 (-0.01) 76.58 (-0.00) 77.42 (-0.01) 230.55 (-0.01)
846532 77.19 (+0.01) 76.83 (-0.00) 78.01 (+0.00) 232.03 (+0.00)
d733bc 76.62 (-0.00) 76.96 (+0.01) 77.69 (+0.01) 231.27 (+0.00)
75ffe3 76.74 (+0.00) 76.41 (-0.01) 77.27 (+0.00) 230.42 (-0.00)
75ffe3 76.59 (-0.00) 76.86 (+0.00) 77.26 (+0.01) 230.72 (+0.00)
bf4623 76.65 (-0.00) 76.65 (-0.00) 76.54 (+0.00) 229.85 (-0.00)
b26c83 76.85 (-0.00) 76.90 (-0.00) 76.28 (-0.01) 230.02 (-0.00)
9d714a 76.86 (-0.00) 77.03 (-0.00) 76.84 (+0.00) 230.72 (-0.00)
6efea4 76.94 (+0.00) 77.17 (-0.00) 76.79 (-0.01) 230.90 (-0.00)
4071ff 76.76 (-0.00) 77.25 (+0.00) 77.30 (+0.01) 231.32 (+0.00)
4071ff 76.98 (+0.00) 77.02 (-0.00) 76.71 (-0.01) 230.72 (-0.00)
870ba4 76.71 (-0.01) 77.21 (-0.01) 77.55 (+0.00) 231.47 (-0.00)
f5ca89 77.17 (-0.01) 77.61 (+0.00) 77.26 (-0.01) 232.04 (-0.01)
8bd565 78.07 (-0.00) 77.55 (-0.01) 77.84 (+0.00) 233.45 (-0.00)
dd22c8 78.16 (+0.00) 78.01 (+0.01) 77.50 (+0.00) 233.68 (+0.01)
299db9 77.84 (+0.00) 77.04 (+0.00) 77.21 (+0.00) 232.09 (+0.00)
93f3f4 77.60 (+0.01) 76.98 (-0.01) 76.93 (-0.01) 231.51 (-0.00)
f6e2e0 77.15 (-0.01) 77.40 (+0.00) 77.37 (+0.00) 231.92 (-0.00)
f6e2e0 78.13 (+0.01) 77.31 (+0.00) 77.29 (+0.00) 232.73 (+0.00)
f6e2e0 77.45 (+0.01) 77.24 (+0.00) 77.14 (+0.01) 231.84 (+0.01)
f1d960 76.92 (-0.00) 76.87 (+0.00) 76.61 (-0.01) 230.40 (-0.00)
4a9279 76.95 (-0.01) 76.71 (-0.00) 77.09 (+0.00) 230.75 (-0.00)
2e4bf7 77.59 (+0.00) 77.04 (-0.00) 76.78 (-0.00) 231.41 (+0.00)
ce8fbb 77.24 (+0.00) 77.10 (+0.00) 76.84 (-0.00) 231.18 (-0.00)
ce8fbb 77.04 (-0.01) 77.05 (-0.00) 77.17 (-0.00) 231.25 (-0.00)
ce8fbb 77.83 (+0.00) 77.33 (-0.00) 77.22 (+0.00) 232.38 (+0.00)
d1a0f2 77.48 (+0.00) 77.67 (+0.01) 77.02 (-0.01) 232.18 (+0.00)
ccf92d 77.23 (+0.00) 77.03 (-0.00) 77.63 (-0.00) 231.89 (-0.00)
02b8e0 77.18 (+0.02) 77.17 (+0.02) 77.88 (+0.02) 232.22 (+0.02)
7b9057 75.71 (-0.03) 75.75 (-0.01) 76.41 (-0.01) 227.87 (-0.02)
9cada8 77.74 (+0.02) 76.83 (+0.01) 76.99 (+0.02) 231.57 (+0.02)
9cada8 76.06 (+0.00) 75.87 (+0.00) 75.55 (-0.01) 227.49 (-0.00)
9cada8 75.89 (-0.03) 75.82 (-0.02) 76.25 (-0.01) 227.96 (-0.02)
a60f68 78.26 (+0.01) 77.73 (+0.00) 77.34 (-0.00) 233.33 (+0.00)
d19c52 77.34 (+0.00) 77.46 (+0.01) 77.69 (-0.01) 232.49 (+0.00)
000eb1 77.12 (-0.01) 76.92 (-0.01) 78.18 (+0.01) 232.21 (-0.01)
000eb1 77.75 (+0.00) 77.94 (+0.02) 77.71 (+0.02) 233.39 (+0.02)
f51b48 77.53 (-0.02) 76.30 (-0.03) 76.07 (-0.02) 229.90 (-0.02)
f51b48 78.88 (+0.03) 78.27 (+0.00) 77.89 (+0.01) 235.04 (+0.01)
f51b48 76.70 (-0.01) 77.98 (-0.00) 76.92 (-0.02) 231.61 (-0.01)
9f906f 77.73 (-0.00) 78.21 (+0.00) 78.16 (+0.00) 234.10 (+0.00)
0692ff 77.75 (+0.01) 77.92 (+0.02) 78.10 (+0.01) 233.77 (+0.01)
2caece 77.04 (-0.01) 76.61 (-0.01) 77.07 (+0.00) 230.73 (-0.00)
bc7d3c 77.57 (+0.02) 77.20 (+0.01) 76.84 (+0.01) 231.61 (+0.02)
2153d2 75.92 (+0.01) 76.09 (-0.01) 75.75 (-0.00) 227.77 (-0.00)
2153d2 75.52 (-0.02) 77.01 (+0.01) 76.03 (+0.00) 228.56 (+0.00)
2153d2 76.70 (-0.01) 76.17 (-0.01) 75.68 (-0.02) 228.56 (-0.01)
a1b062 77.64 (+0.01) 77.10 (+0.00) 77.22 (-0.01) 231.96 (+0.00)
1d9d7c 77.13 (-0.01) 76.72 (-0.02) 77.75 (+0.00) 231.61 (-0.01)
3569c1 77.88 (+0.02) 78.27 (+0.03) 77.67 (+0.02) 233.82 (+0.02)
eaff14 76.33 (+0.00) 76.16 (+0.00) 76.31 (+0.00) 228.80 (+0.00)
f383b4 76.24 (+0.02) 75.96 (+0.01) 75.98 (+0.01) 228.18 (+0.01)
f383b4 75.02 (+0.01) 75.16 (+0.01) 75.35 (+0.01) 225.53 (+0.01)
f383b4 74.55 (-0.01) 74.47 (-0.01) 74.56 (-0.01) 223.58 (-0.01)
a4256b 74.94 (-0.00) 75.48 (+0.02) 75.35 (+0.01) 225.77 (+0.01)
371493 75.25 (-0.01) 74.33 (-0.02) 74.25 (-0.01) 223.84 (-0.01)
c5c143 76.21 (+0.00) 75.68 (+0.00) 75.19 (-0.01) 227.08 (+0.00)
58fa4f 75.89 (+0.01) 75.40 (-0.00) 75.72 (-0.01) 227.01 (-0.00)
121d53 75.49 (+0.00) 75.57 (+0.00) 76.23 (-0.00) 227.29 (+0.00)
121d53 75.34 (-0.01) 75.22 (-0.01) 76.33 (+0.01) 226.90 (-0.00)
ec3a3a 75.87 (+0.00) 75.96 (+0.01) 75.42 (-0.00) 227.24 (+0.00)
96e783 75.74 (-0.00) 75.41 (-0.01) 75.51 (+0.00) 226.66 (-0.00)
567b71 76.02 (+0.00) 75.79 (-0.00) 75.41 (-0.00) 227.22 (-0.00)
847fc5 75.70 (+0.00) 76.12 (+0.00) 75.74 (-0.01) 227.56 (-0.00)
5e08b3 75.42 (-0.01) 76.11 (+0.01) 76.32 (-0.00) 227.85 (-0.00)
4d291d 75.84 (+0.01) 75.71 (+0.00) 76.52 (+0.01) 228.07 (+0.01)
4d291d 75.35 (-0.00) 75.36 (-0.00) 75.73 (+0.01) 226.44 (+0.00)
bf63f1 75.66 (+0.00) 75.38 (-0.00) 75.26 (-0.02) 226.30 (-0.00)
0a0958 75.53 (+0.00) 75.47 (-0.00) 76.41 (+0.01) 227.42 (+0.00)
aabca5 75.42 (-0.00) 75.58 (-0.00) 75.41 (-0.00) 226.41 (-0.00)
a4be54 75.44 (+0.00) 75.58 (-0.00) 75.53 (-0.01) 226.56 (-0.00)
a3d7ad 75.40 (-0.01) 75.82 (+0.00) 75.94 (+0.01) 227.16 (-0.00)
a3d7ad 76.41 (+0.01) 75.50 (+0.00) 75.54 (-0.00) 227.45 (+0.00)
8ba169 75.57 (+0.00) 75.39 (-0.00) 75.88 (-0.00) 226.84 (-0.00)
e5cc2f 75.50 (+0.00) 75.57 (+0.00) 76.00 (+0.00) 227.06 (+0.00)
c6b56d 75.37 (-0.02) 75.54 (-0.00) 75.98 (+0.00) 226.88 (-0.00)
e067cd 76.62 (+0.01) 75.58 (-0.00) 75.71 (+0.02) 227.92 (+0.01)
bce423 75.75 (-0.00) 75.89 (-0.00) 74.24 (-0.02) 225.89 (-0.01)
bce423 76.10 (+0.01) 76.14 (+0.01) 75.55 (-0.00) 227.79 (+0.01)
c28bfd 75.27 (-0.01) 75.57 (-0.00) 75.59 (-0.00) 226.43 (-0.01)
95bf19 76.31 (+0.00) 75.91 (-0.01) 75.81 (+0.00) 228.03 (-0.00)
95bf19 76.11 (+0.01) 76.44 (+0.01) 75.75 (+0.00) 228.30 (+0.01)
080752 75.72 (-0.01) 75.61 (+0.00) 75.46 (-0.00) 226.78 (-0.00)
23d5e2 76.53 (+0.01) 75.40 (-0.02) 75.64 (+0.00) 227.57 (-0.00)
23d5e2 75.61 (+0.00) 76.85 (+0.01) 75.54 (-0.00) 227.99 (+0.01)
8b710b 75.32 (+0.00) 75.72 (-0.00) 75.68 (+0.00) 226.73 (+0.00)
8c6e60 75.20 (-0.00) 75.95 (+0.02) 75.53 (-0.01) 226.68 (+0.00)
10dae7 75.48 (-0.01) 74.66 (-0.01) 76.33 (+0.01) 226.48 (-0.00)
4c4d3d 76.08 (+0.01) 75.45 (-0.01) 75.66 (-0.00) 227.20 (-0.00)
9f94d0 75.45 (-0.00) 76.31 (+0.01) 75.82 (+0.01) 227.59 (+0.01)
9f94d0 75.53 (+0.00) 75.46 (+0.00) 75.08 (-0.01) 226.07 (-0.00)
9f94d0 75.45 (+0.00) 75.33 (-0.00) 75.62 (+0.01) 226.40 (+0.00)
c700c7 75.43 (+0.00) 75.40 (+0.00) 75.15 (-0.01) 225.98 (-0.00)
42c6dd 75.26 (-0.01) 75.28 (-0.00) 75.77 (+0.01) 226.31 (-0.00)
f6bf7b 75.76 (+0.00) 75.35 (-0.00) 75.25 (+0.00) 226.36 (-0.00)
1137b5 75.66 (+0.00) 75.63 (+0.01) 75.20 (+0.00) 226.49 (+0.00)
1468c6 75.65 (-0.00) 75.24 (+0.00) 75.10 (-0.00) 225.99 (-0.00)
1468c6 75.71 (+0.02) 75.17 (+0.01) 75.37 (+0.01) 226.25 (+0.02)
c01f92 74.19 (+0.00) 74.18 (-0.00) 74.48 (-0.00) 222.84 (-0.00)
7ff591 74.14 (-0.02) 74.30 (-0.01) 74.54 (-0.01) 222.98 (-0.02)
5d4774 75.82 (-0.00) 75.33 (-0.00) 75.27 (-0.00) 226.43 (-0.00)
56d8c2 75.85 (+0.00) 75.51 (+0.01) 75.46 (-0.01) 226.82 (+0.00)
12e6f4 75.66 (+0.01) 75.06 (+0.01) 76.00 (+0.01) 226.72 (+0.01)
12e6f4 74.63 (+0.00) 74.45 (+0.00) 75.07 (+0.01) 224.15 (+0.00)
61194a 74.45 (-0.02) 74.40 (-0.02) 74.35 (-0.02) 223.19 (-0.02)
70ce01 75.66 (-0.01) 75.81 (-0.00) 75.81 (+0.00) 227.27 (-0.00)
c04c20 76.36 (+0.01) 76.05 (-0.00) 75.76 (-0.00) 228.17 (+0.00)
827ee1 75.78 (-0.01) 76.06 (+0.00) 75.97 (-0.00) 227.81 (-0.00)
22ae67 76.20 (+0.01) 75.86 (-0.01) 76.26 (+0.00) 228.32 (+0.00)
0f4458 75.50 (-0.01) 76.55 (+0.00) 75.93 (+0.00) 227.99 (-0.00)
0f4458 76.31 (+0.02) 76.19 (+0.02) 75.70 (+0.02) 228.20 (+0.02)
0f4458 74.75 (-0.02) 74.49 (-0.01) 74.51 (-0.01) 223.75 (-0.01)
b8a566 76.09 (+0.01) 75.29 (-0.01) 75.63 (-0.00) 227.02 (-0.00)
b8a566 75.45 (-0.01) 75.98 (+0.00) 75.75 (+0.00) 227.18 (-0.00)
9747e9 75.97 (+0.03) 75.71 (+0.02) 75.66 (+0.02) 227.34 (+0.02)
b50e07 73.85 (-0.02) 74.22 (-0.02) 74.39 (-0.01) 222.45 (-0.02)
6a57d5 75.45 (+0.00) 76.05 (+0.00) 75.14 (-0.00) 226.64 (+0.00)
c0480f 75.16 (+0.00) 75.96 (+0.03) 75.46 (+0.02) 226.58 (+0.02)
4f443c 74.94 (+0.00) 73.90 (-0.01) 74.04 (+0.00) 222.88 (-0.00)
4f443c 74.93 (-0.00) 74.43 (-0.01) 73.88 (-0.02) 223.24 (-0.01)
788823 75.09 (-0.00) 75.49 (+0.01) 75.30 (+0.01) 225.88 (+0.00)
c21104 75.15 (-0.01) 75.08 (-0.00) 74.81 (-0.00) 225.04 (-0.01)
b9544a 76.07 (+0.02) 75.21 (+0.01) 75.13 (+0.00) 226.41 (+0.01)
33834c 74.37 (-0.03) 74.20 (-0.02) 74.88 (-0.01) 223.46 (-0.02)
521667 76.53 (-0.00) 75.91 (-0.00) 75.91 (-0.01) 228.35 (-0.01)
361648 76.55 (+0.01) 76.28 (+0.00) 76.78 (+0.01) 229.60 (+0.01)
fc0629 75.96 76.05 76.22 228.23

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query29]

platform: rds-postgres

revision Q29/1 Q29/2 Q29/3 total_duration
41aa62 53.13 (-0.00) 53.37 (-0.00) 53.88 (+0.01) 160.39 (+0.00)
7b5489 53.24 (-0.01) 53.50 (+0.00) 53.50 (+0.00) 160.24 (-0.00)
a23b07 53.65 (+0.01) 53.39 (-0.00) 53.39 (-0.00) 160.42 (+0.00)
cc2d00 53.18 (+0.00) 53.44 (+0.01) 53.43 (+0.01) 160.06 (+0.01)
ba9df2 52.95 (-0.00) 53.15 (-0.00) 53.15 (-0.00) 159.25 (-0.00)
a8f354 53.13 (-0.01) 53.37 (-0.01) 53.36 (-0.00) 159.86 (-0.01)
7feb0d 53.40 (+0.02) 54.14 (+0.03) 53.59 (+0.02) 161.12 (+0.02)
982fce 52.29 (-0.00) 52.49 (-0.00) 52.51 (-0.01) 157.29 (-0.01)
1f151d 52.36 (-0.01) 52.60 (-0.01) 53.12 (+0.00) 158.09 (-0.01)
ff1a1a 52.62 (+0.01) 53.39 (+0.02) 52.86 (-0.00) 158.89 (+0.01)
b1477b 52.25 (-0.01) 52.50 (-0.02) 53.01 (+0.00) 157.76 (-0.01)
1b947f 52.59 (+0.02) 53.34 (+0.02) 52.83 (+0.02) 158.75 (+0.02)
a21b55 51.71 (-0.00) 52.47 (+0.01) 51.95 (-0.00) 156.14 (+0.00)
4ba950 51.80 (-0.01) 52.05 (-0.01) 52.04 (-0.01) 155.88 (-0.01)
4e359d 52.51 (-0.00) 52.74 (-0.01) 52.73 (-0.00) 157.98 (-0.01)
3837fc 52.71 (+0.01) 53.48 (+0.01) 52.96 (+0.01) 159.15 (+0.01)
edcf4d 52.24 (-0.01) 53.01 (+0.00) 52.49 (-0.01) 157.74 (-0.00)
411c71 52.59 (-0.01) 52.83 (-0.00) 52.83 (-0.00) 158.25 (-0.01)
854348 53.28 (+0.02) 53.00 (+0.01) 53.00 (+0.01) 159.29 (+0.01)
7ba5c2 52.48 (+0.00) 52.23 (-0.01) 52.25 (-0.02) 156.96 (-0.01)
ebea29 52.33 (-0.00) 52.56 (-0.00) 53.08 (+0.01) 157.97 (-0.00)
22c890 52.54 (-0.01) 52.78 (-0.02) 52.78 (-0.01) 158.10 (-0.01)
f0b2e0 53.06 (+0.00) 53.86 (+0.01) 53.29 (+0.00) 160.21 (+0.01)
dec580 52.94 (+0.00) 53.15 (+0.00) 53.17 (-0.01) 159.26 (-0.00)
dec580 52.81 (-0.01) 53.05 (-0.01) 53.55 (-0.01) 159.41 (-0.01)
b1c2a6 53.52 (+0.01) 53.85 (-0.00) 54.23 (+0.01) 161.60 (+0.01)
931094 53.21 (-0.01) 54.00 (+0.00) 53.48 (-0.01) 160.69 (-0.00)
957acb 53.66 (+0.00) 53.81 (+0.00) 53.81 (+0.00) 161.29 (+0.00)
846532 53.44 (-0.01) 53.71 (+0.00) 53.70 (+0.00) 160.85 (+0.00)
d733bc 53.74 (+0.00) 53.47 (-0.01) 53.46 (-0.01) 160.67 (-0.00)
75ffe3 53.57 (+0.00) 53.83 (+0.01) 53.83 (+0.01) 161.23 (+0.01)
75ffe3 53.33 (+0.01) 53.07 (-0.00) 53.06 (-0.01) 159.46 (-0.00)
bf4623 52.84 (-0.00) 53.08 (-0.01) 53.60 (+0.01) 159.52 (-0.00)
b26c83 52.85 (+0.00) 53.62 (+0.01) 53.11 (+0.00) 159.58 (+0.00)
9d714a 52.85 (-0.00) 53.11 (-0.01) 53.10 (-0.00) 159.06 (-0.00)
6efea4 52.91 (+0.01) 53.71 (+0.02) 53.15 (+0.01) 159.77 (+0.01)
4071ff 52.33 (-0.01) 52.56 (-0.01) 52.55 (-0.02) 157.44 (-0.02)
4071ff 53.08 (-0.00) 53.34 (+0.00) 53.86 (+0.01) 160.28 (+0.00)
870ba4 53.08 (-0.00) 53.29 (-0.00) 53.31 (-0.00) 159.69 (-0.00)
f5ca89 53.19 (-0.02) 53.38 (-0.01) 53.38 (-0.01) 159.96 (-0.01)
8bd565 54.02 (+0.02) 53.76 (+0.00) 53.76 (+0.01) 161.55 (+0.01)
dd22c8 52.95 (-0.02) 53.74 (+0.00) 53.23 (-0.01) 159.92 (-0.01)
299db9 53.94 (+0.01) 53.71 (+0.01) 53.71 (+0.01) 161.36 (+0.01)
93f3f4 53.56 (+0.02) 53.31 (+0.01) 53.29 (+0.01) 160.16 (+0.02)
f6e2e0 52.41 (-0.02) 52.64 (-0.01) 52.63 (-0.01) 157.67 (-0.01)
f6e2e0 53.43 (-0.00) 53.14 (-0.00) 53.15 (-0.00) 159.72 (-0.00)
f6e2e0 53.66 (-0.00) 53.40 (-0.00) 53.40 (-0.00) 160.46 (-0.00)
f1d960 53.77 (+0.00) 53.52 (-0.00) 53.50 (-0.01) 160.79 (-0.00)
4a9279 53.52 (+0.00) 53.78 (+0.01) 53.78 (+0.01) 161.08 (+0.01)
2e4bf7 53.43 (-0.00) 53.13 (-0.00) 53.12 (-0.00) 159.68 (-0.00)
ce8fbb 53.56 (+0.01) 53.30 (+0.00) 53.29 (+0.00) 160.15 (+0.01)
ce8fbb 52.96 (-0.01) 53.15 (-0.00) 53.18 (-0.00) 159.29 (-0.00)
ce8fbb 53.45 (+0.00) 53.20 (-0.02) 53.18 (-0.01) 159.83 (-0.01)
d1a0f2 53.44 (+0.01) 54.20 (+0.02) 53.68 (+0.01) 161.31 (+0.01)
ccf92d 53.11 (-0.00) 53.37 (-0.00) 53.36 (-0.00) 159.84 (-0.00)
02b8e0 53.22 (-0.00) 53.48 (-0.00) 53.48 (-0.00) 160.18 (-0.00)
7b9057 53.43 (-0.00) 53.67 (+0.00) 53.66 (+0.00) 160.76 (+0.00)
9cada8 53.69 (-0.01) 53.43 (-0.01) 53.43 (-0.01) 160.56 (-0.01)
9cada8 54.03 (+0.02) 53.78 (+0.01) 53.77 (+0.01) 161.59 (+0.01)
9cada8 53.00 (-0.00) 53.28 (-0.01) 53.27 (-0.00) 159.55 (-0.01)
a60f68 53.20 (+0.01) 53.88 (+0.01) 53.37 (+0.00) 160.45 (+0.01)
d19c52 52.89 (+0.00) 53.16 (+0.00) 53.15 (+0.00) 159.20 (+0.00)
000eb1 52.79 (-0.01) 53.06 (-0.02) 53.04 (-0.01) 158.90 (-0.02)
000eb1 53.48 (+0.00) 54.23 (+0.00) 53.72 (+0.00) 161.43 (+0.00)
f51b48 53.29 (+0.00) 54.07 (+0.00) 53.54 (+0.00) 160.91 (+0.00)
f51b48 53.19 (+0.00) 53.98 (+0.01) 53.47 (-0.01) 160.65 (+0.00)
f51b48 53.05 (+0.01) 53.35 (+0.01) 53.85 (+0.02) 160.25 (+0.01)
9f906f 52.68 (-0.02) 52.96 (-0.02) 52.95 (-0.02) 158.60 (-0.02)
0692ff 53.59 (+0.02) 53.80 (+0.00) 53.78 (+0.01) 161.17 (+0.01)
2caece 52.74 (-0.01) 53.53 (+0.02) 53.02 (+0.01) 159.30 (+0.00)
bc7d3c 53.04 (-0.01) 52.73 (-0.02) 52.74 (-0.02) 158.51 (-0.02)
2153d2 53.36 (+0.01) 53.56 (+0.01) 54.08 (+0.02) 161.01 (+0.01)
2153d2 53.05 (-0.00) 53.27 (-0.01) 53.27 (-0.00) 159.60 (-0.01)
2153d2 53.14 (-0.01) 53.92 (+0.01) 53.42 (-0.00) 160.48 (-0.00)
a1b062 53.84 (+0.01) 53.57 (-0.00) 53.55 (-0.00) 160.95 (+0.00)
1d9d7c 53.36 (-0.00) 53.59 (-0.01) 53.59 (-0.00) 160.54 (-0.01)
3569c1 53.57 (+0.00) 54.34 (+0.01) 53.82 (+0.00) 161.74 (+0.01)
eaff14 53.43 (-0.00) 53.69 (-0.00) 53.68 (-0.00) 160.80 (-0.00)
f383b4 53.57 (+0.01) 53.79 (+0.01) 53.78 (+0.01) 161.14 (+0.01)
f383b4 53.04 (-0.01) 53.31 (-0.01) 53.32 (-0.00) 159.67 (-0.01)
f383b4 53.34 (-0.01) 53.58 (-0.00) 53.58 (-0.00) 160.51 (-0.01)
a4256b 54.00 (+0.01) 53.74 (+0.01) 53.74 (+0.01) 161.48 (+0.01)
371493 53.67 (+0.02) 53.41 (-0.00) 53.40 (+0.01) 160.48 (+0.01)
c5c143 52.71 (-0.01) 53.47 (+0.00) 52.96 (-0.01) 159.14 (-0.00)
58fa4f 53.05 (+0.00) 53.29 (+0.00) 53.28 (+0.00) 159.61 (+0.00)
121d53 52.90 (-0.01) 53.14 (-0.01) 53.14 (-0.01) 159.19 (-0.01)
121d53 53.46 (+0.02) 53.70 (+0.01) 53.69 (+0.02) 160.85 (+0.02)
ec3a3a 52.64 (-0.01) 52.91 (-0.00) 52.89 (-0.00) 158.44 (-0.01)
96e783 53.34 (+0.01) 53.10 (-0.00) 53.08 (-0.01) 159.53 (-0.00)
567b71 52.93 (+0.00) 53.18 (+0.00) 53.70 (+0.01) 159.81 (+0.01)
847fc5 52.83 (+0.00) 53.08 (+0.00) 53.07 (+0.00) 158.98 (+0.00)
5e08b3 52.79 (-0.00) 53.02 (+0.01) 53.04 (+0.01) 158.85 (+0.01)
4d291d 52.81 (-0.01) 52.57 (-0.01) 52.55 (-0.02) 157.94 (-0.01)
4d291d 53.11 (-0.00) 53.37 (-0.01) 53.37 (-0.00) 159.85 (-0.01)
bf63f1 53.31 (-0.01) 54.08 (+0.01) 53.56 (-0.00) 160.95 (-0.00)
0a0958 53.75 (+0.01) 53.70 (+0.02) 53.70 (+0.02) 161.15 (+0.02)
aabca5 53.09 (+0.02) 52.83 (+0.02) 52.83 (+0.02) 158.76 (+0.02)
a4be54 52.20 (-0.02) 51.95 (-0.03) 51.93 (-0.03) 156.07 (-0.02)
a3d7ad 53.05 (-0.00) 53.32 (-0.01) 53.31 (-0.00) 159.69 (-0.00)
a3d7ad 53.08 (+0.00) 53.85 (+0.01) 53.33 (+0.00) 160.27 (+0.01)
8ba169 52.94 (+0.01) 53.17 (+0.01) 53.15 (+0.01) 159.26 (+0.01)
e5cc2f 52.22 (-0.02) 52.47 (-0.02) 52.46 (-0.02) 157.16 (-0.02)
c6b56d 53.24 (+0.02) 53.50 (+0.02) 53.49 (+0.01) 160.24 (+0.02)
e067cd 52.26 (+0.00) 52.47 (+0.00) 53.00 (+0.01) 157.74 (+0.01)
bce423 52.10 (-0.02) 52.36 (-0.02) 52.35 (-0.03) 156.81 (-0.02)
bce423 53.20 (+0.04) 53.47 (+0.03) 53.98 (+0.05) 160.65 (+0.04)
c28bfd 51.34 (-0.04) 52.13 (-0.04) 51.61 (-0.04) 155.08 (-0.04)
95bf19 53.49 (+0.01) 54.28 (+0.02) 53.74 (+0.01) 161.51 (+0.01)
95bf19 53.16 (+0.01) 53.42 (+0.02) 53.42 (+0.02) 160.01 (+0.02)
080752 52.47 (-0.02) 52.21 (-0.03) 52.20 (-0.04) 156.89 (-0.03)
23d5e2 53.50 (+0.01) 53.78 (+0.01) 54.29 (+0.02) 161.57 (+0.01)
23d5e2 53.05 (+0.00) 53.27 (+0.00) 53.27 (+0.00) 159.58 (+0.00)
8b710b 52.87 (+0.00) 53.13 (+0.00) 53.15 (-0.01) 159.16 (-0.00)
8c6e60 52.73 (-0.01) 52.99 (-0.01) 53.49 (+0.00) 159.21 (-0.00)
10dae7 53.11 (+0.01) 53.37 (+0.01) 53.36 (+0.00) 159.84 (+0.01)
4c4d3d 52.42 (-0.02) 52.68 (-0.02) 53.19 (-0.01) 158.29 (-0.02)
9f94d0 53.43 (+0.00) 53.64 (-0.01) 53.65 (-0.00) 160.71 (-0.00)
9f94d0 53.30 (-0.00) 54.07 (+0.01) 53.73 (+0.00) 161.10 (+0.00)
9f94d0 53.30 (+0.00) 53.55 (+0.01) 53.56 (+0.01) 160.42 (+0.01)
c700c7 53.09 (-0.01) 52.84 (-0.02) 52.83 (-0.02) 158.77 (-0.01)
42c6dd 53.54 (+0.00) 53.81 (+0.01) 53.80 (+0.01) 161.15 (+0.01)
f6bf7b 53.41 (+0.04) 53.14 (+0.03) 53.17 (+0.02) 159.71 (+0.03)
1137b5 51.28 (-0.04) 51.56 (-0.05) 52.06 (-0.03) 154.90 (-0.04)
1468c6 53.56 (-0.01) 54.34 (+0.01) 53.82 (+0.00) 161.73 (+0.00)
1468c6 54.02 (+0.01) 53.78 (+0.00) 53.77 (+0.00) 161.57 (+0.01)
c01f92 53.39 (+0.01) 53.66 (+0.01) 53.65 (+0.01) 160.70 (+0.01)
7ff591 52.65 (-0.02) 52.92 (-0.01) 52.92 (-0.01) 158.49 (-0.01)
5d4774 53.76 (-0.00) 53.52 (-0.00) 53.50 (-0.00) 160.79 (-0.00)
56d8c2 54.00 (+0.04) 53.73 (+0.03) 53.73 (+0.03) 161.46 (+0.04)
12e6f4 51.73 (-0.03) 51.99 (-0.03) 51.97 (-0.03) 155.69 (-0.03)
12e6f4 53.12 (-0.02) 53.35 (-0.01) 53.36 (-0.01) 159.83 (-0.01)
61194a 54.06 (+0.02) 53.81 (+0.01) 53.81 (+0.01) 161.69 (+0.02)
70ce01 52.79 (-0.02) 53.05 (-0.01) 53.03 (-0.01) 158.88 (-0.02)
c04c20 54.08 (+0.01) 53.84 (+0.00) 53.83 (-0.01) 161.75 (-0.00)
827ee1 53.59 (+0.02) 53.84 (+0.02) 54.35 (+0.03) 161.77 (+0.02)
22ae67 52.72 (-0.02) 52.97 (-0.02) 52.97 (-0.02) 158.65 (-0.02)
0f4458 53.58 (-0.00) 53.84 (-0.01) 53.84 (+0.00) 161.26 (-0.00)
0f4458 53.59 (+0.00) 54.34 (+0.01) 53.83 (-0.01) 161.76 (-0.00)
0f4458 53.58 (-0.01) 53.84 (+0.00) 54.35 (+0.01) 161.78 (+0.00)
b8a566 54.20 (+0.01) 53.74 (-0.00) 53.84 (+0.00) 161.78 (+0.00)
b8a566 53.55 (+0.10) 53.82 (+0.10) 53.81 (+0.09) 161.18 (+0.10)
9747e9 48.67 (-0.04) 48.89 (-0.05) 49.41 (-0.04) 146.97 (-0.04)
b50e07 50.66 (-0.03) 51.34 (-0.03) 51.33 (-0.04) 153.34 (-0.04)
6a57d5 52.48 (-0.01) 53.17 (-0.01) 53.68 (+0.00) 159.33 (-0.01)
c0480f 52.93 (+0.04) 53.61 (+0.04) 53.60 (+0.04) 160.14 (+0.04)
4f443c 50.81 (+0.00) 51.48 (-0.01) 51.47 (+0.00) 153.76 (-0.00)
4f443c 50.75 (-0.03) 51.93 (-0.02) 51.41 (-0.03) 154.09 (-0.03)
788823 52.30 (-0.00) 52.99 (-0.00) 52.98 (-0.01) 158.28 (-0.00)
c21104 52.52 (+0.01) 53.21 (+0.02) 53.32 (+0.02) 159.06 (+0.01)
b9544a 52.20 (+0.01) 52.38 (-0.00) 52.36 (-0.00) 156.94 (+0.00)
33834c 51.73 (-0.00) 52.42 (+0.01) 52.42 (+0.01) 156.57 (+0.01)
521667 51.81 (+0.02) 51.95 (+0.01) 51.94 (+0.01) 155.70 (+0.01)
361648 51.00 (-0.04) 51.68 (-0.04) 51.68 (-0.04) 154.35 (-0.04)
fc0629 52.97 53.63 53.62 160.23

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query30]

platform: rds-postgres

revision Q30/1 Q30/2 Q30/3 total_duration
41aa62 55.00 (-0.00) 55.13 (+0.00) 54.97 (-0.01) 165.10 (-0.00)
7b5489 55.04 (+0.00) 55.08 (+0.00) 55.66 (+0.01) 165.78 (+0.00)
a23b07 54.95 (-0.00) 55.07 (+0.00) 55.04 (-0.01) 165.07 (-0.00)
cc2d00 55.03 (-0.00) 54.96 (+0.00) 55.60 (+0.02) 165.60 (+0.00)
ba9df2 55.28 (+0.01) 54.80 (-0.00) 54.77 (-0.01) 164.86 (-0.00)
a8f354 54.92 (-0.00) 54.93 (-0.00) 55.41 (+0.01) 165.26 (+0.00)
7feb0d 54.94 (+0.02) 55.00 (+0.02) 55.04 (+0.01) 164.98 (+0.02)
982fce 53.93 (-0.00) 54.05 (-0.00) 54.49 (+0.01) 162.47 (+0.00)
1f151d 54.09 (-0.00) 54.10 (-0.00) 53.99 (-0.00) 162.17 (-0.00)
ff1a1a 54.35 (+0.01) 54.22 (+0.00) 54.16 (+0.00) 162.73 (+0.01)
b1477b 53.92 (-0.01) 54.00 (-0.01) 53.96 (-0.01) 161.88 (-0.01)
1b947f 54.33 (+0.02) 54.39 (+0.02) 54.59 (+0.02) 163.31 (+0.02)
a21b55 53.38 (-0.00) 53.45 (-0.00) 53.35 (-0.01) 160.18 (-0.00)
4ba950 53.41 (-0.02) 53.57 (-0.02) 53.99 (-0.00) 160.97 (-0.01)
4e359d 54.25 (-0.00) 54.83 (+0.01) 54.15 (-0.01) 163.24 (-0.00)
3837fc 54.52 (+0.01) 54.53 (+0.01) 54.57 (+0.01) 163.62 (+0.01)
edcf4d 53.94 (-0.01) 54.10 (-0.01) 53.94 (-0.01) 161.98 (-0.01)
411c71 54.33 (+0.00) 54.87 (+0.01) 54.46 (-0.01) 163.67 (-0.00)
854348 54.26 (+0.01) 54.49 (+0.02) 55.05 (+0.03) 163.80 (+0.02)
7ba5c2 53.49 (-0.01) 53.66 (-0.01) 53.62 (-0.01) 160.78 (-0.01)
ebea29 53.88 (-0.00) 53.95 (-0.01) 53.94 (-0.01) 161.77 (-0.01)
22c890 54.07 (-0.01) 54.74 (+0.00) 54.21 (-0.01) 163.02 (-0.00)
f0b2e0 54.61 (-0.01) 54.64 (+0.00) 54.57 (+0.00) 163.83 (-0.00)
dec580 55.03 (+0.01) 54.49 (+0.00) 54.53 (+0.00) 164.05 (+0.01)
dec580 54.33 (-0.02) 54.40 (-0.01) 54.39 (-0.01) 163.12 (-0.02)
b1c2a6 55.22 (+0.01) 55.20 (+0.01) 55.21 (+0.01) 165.63 (+0.01)
931094 54.74 (-0.01) 54.82 (-0.01) 54.82 (-0.01) 164.38 (-0.01)
957acb 55.14 (-0.01) 55.63 (+0.01) 55.15 (-0.00) 165.91 (-0.00)
846532 55.67 (+0.01) 55.27 (+0.00) 55.17 (-0.01) 166.11 (+0.00)
d733bc 54.91 (-0.01) 55.03 (-0.01) 55.57 (+0.00) 165.51 (-0.00)
75ffe3 55.27 (+0.01) 55.43 (+0.01) 55.45 (+0.02) 166.15 (+0.01)
75ffe3 54.49 (+0.00) 54.62 (+0.00) 54.63 (-0.00) 163.74 (+0.00)
bf4623 54.40 (-0.00) 54.44 (-0.00) 54.70 (+0.00) 163.54 (+0.00)
b26c83 54.48 (-0.00) 54.48 (-0.01) 54.52 (-0.00) 163.48 (-0.01)
9d714a 54.66 (+0.00) 55.08 (+0.01) 54.59 (+0.00) 164.32 (+0.00)
6efea4 54.61 (+0.00) 54.62 (+0.01) 54.55 (+0.01) 163.78 (+0.01)
4071ff 54.57 (-0.01) 54.22 (-0.01) 54.16 (-0.01) 162.96 (-0.01)
4071ff 54.87 (-0.01) 54.87 (-0.00) 54.83 (-0.00) 164.58 (-0.00)
870ba4 55.41 (-0.00) 54.89 (+0.00) 54.91 (+0.00) 165.21 (+0.00)
f5ca89 55.41 (+0.00) 54.88 (-0.01) 54.90 (-0.02) 165.20 (-0.01)
8bd565 55.21 (+0.01) 55.26 (+0.01) 55.86 (+0.02) 166.34 (+0.01)
dd22c8 54.74 (-0.01) 54.74 (-0.01) 54.72 (-0.02) 164.21 (-0.01)
299db9 55.14 (+0.01) 55.21 (+0.01) 55.73 (+0.01) 166.09 (+0.01)
93f3f4 54.85 (+0.01) 54.93 (+0.01) 55.43 (+0.01) 165.21 (+0.01)
f6e2e0 54.16 (-0.01) 54.18 (-0.01) 54.83 (+0.00) 163.17 (-0.01)
f6e2e0 54.67 (-0.01) 54.72 (-0.01) 54.79 (-0.02) 164.17 (-0.01)
f6e2e0 54.95 (-0.00) 55.05 (-0.00) 55.82 (+0.01) 165.82 (+0.00)
f1d960 55.01 (-0.00) 55.09 (-0.00) 55.04 (-0.01) 165.14 (-0.01)
4a9279 55.23 (+0.01) 55.34 (+0.01) 55.81 (+0.01) 166.38 (+0.01)
2e4bf7 54.57 (-0.00) 54.57 (-0.00) 55.14 (+0.00) 164.28 (-0.00)
ce8fbb 54.74 (+0.00) 54.82 (+0.00) 55.04 (-0.00) 164.60 (-0.00)
ce8fbb 54.69 (-0.00) 54.68 (-0.00) 55.27 (-0.00) 164.64 (-0.00)
ce8fbb 54.73 (-0.01) 54.78 (-0.01) 55.33 (+0.00) 164.84 (-0.00)
d1a0f2 55.15 (+0.01) 55.21 (-0.00) 55.18 (+0.01) 165.54 (+0.00)
ccf92d 54.86 (-0.00) 55.46 (-0.00) 54.85 (-0.00) 165.17 (-0.00)
02b8e0 54.96 (-0.00) 55.64 (+0.00) 54.97 (-0.00) 165.56 (-0.00)
7b9057 55.22 (+0.01) 55.61 (+0.02) 55.13 (-0.00) 165.96 (+0.01)
9cada8 54.80 (-0.00) 54.67 (-0.01) 55.33 (-0.00) 164.80 (-0.01)
9cada8 55.07 (+0.01) 55.12 (+0.01) 55.55 (+0.01) 165.74 (+0.01)
9cada8 54.47 (-0.00) 54.64 (+0.00) 55.11 (+0.01) 164.22 (+0.00)
a60f68 54.66 (-0.00) 54.63 (+0.00) 54.63 (+0.00) 163.92 (+0.00)
d19c52 54.88 (+0.01) 54.43 (+0.00) 54.41 (-0.01) 163.73 (+0.00)
000eb1 54.36 (-0.01) 54.40 (-0.01) 54.93 (-0.01) 163.70 (-0.01)
000eb1 55.08 (+0.00) 55.19 (+0.01) 55.29 (+0.01) 165.55 (+0.01)
f51b48 54.81 (-0.00) 54.91 (+0.00) 54.86 (+0.00) 164.58 (+0.00)
f51b48 54.94 (+0.01) 54.82 (+0.00) 54.74 (+0.00) 164.50 (+0.00)
f51b48 54.58 (-0.00) 54.66 (+0.01) 54.53 (+0.01) 163.77 (+0.00)
9f906f 54.70 (-0.02) 54.35 (-0.02) 54.21 (-0.02) 163.26 (-0.02)
0692ff 55.70 (+0.02) 55.37 (+0.02) 55.19 (+0.01) 166.27 (+0.02)
2caece 54.40 (+0.01) 54.33 (+0.01) 54.43 (+0.00) 163.17 (+0.01)
bc7d3c 54.08 (-0.01) 54.04 (-0.02) 54.23 (-0.01) 162.35 (-0.01)
2153d2 54.83 (-0.00) 54.88 (+0.00) 54.86 (+0.01) 164.58 (+0.00)
2153d2 55.04 (+0.01) 54.65 (-0.00) 54.55 (-0.00) 164.23 (-0.00)
2153d2 54.77 (-0.00) 54.80 (-0.00) 54.76 (-0.01) 164.33 (-0.00)
a1b062 54.80 (-0.00) 54.89 (-0.01) 55.41 (+0.01) 165.10 (-0.00)
1d9d7c 54.91 (-0.00) 55.38 (+0.00) 55.07 (-0.00) 165.36 (-0.00)
3569c1 55.08 (-0.01) 55.15 (+0.00) 55.15 (+0.00) 165.38 (-0.00)
eaff14 55.58 (+0.00) 54.98 (-0.00) 55.07 (+0.00) 165.63 (-0.00)
f383b4 55.53 (+0.02) 55.08 (-0.00) 55.07 (+0.01) 165.68 (+0.01)
f383b4 54.59 (-0.01) 55.09 (-0.00) 54.58 (-0.01) 164.27 (-0.01)
f383b4 54.91 (-0.00) 55.34 (+0.00) 54.88 (-0.01) 165.14 (-0.00)
a4256b 55.09 (+0.01) 55.15 (+0.01) 55.37 (+0.00) 165.62 (+0.01)
371493 54.57 (+0.00) 54.79 (+0.01) 55.11 (+0.02) 164.48 (+0.01)
c5c143 54.32 (-0.00) 54.27 (-0.01) 54.27 (-0.01) 162.86 (-0.01)
58fa4f 54.53 (+0.00) 54.58 (-0.01) 55.08 (+0.01) 164.20 (+0.00)
121d53 54.29 (-0.01) 54.87 (-0.01) 54.32 (-0.01) 163.49 (-0.01)
121d53 54.84 (+0.00) 55.59 (+0.03) 54.86 (+0.01) 165.29 (+0.01)
ec3a3a 54.63 (+0.00) 54.18 (-0.00) 54.05 (-0.00) 162.87 (-0.00)
96e783 54.60 (+0.00) 54.38 (-0.01) 54.23 (-0.00) 163.21 (-0.00)
567b71 54.60 (-0.01) 54.67 (+0.01) 54.35 (-0.00) 163.62 (-0.00)
847fc5 55.00 (+0.01) 54.27 (+0.00) 54.36 (+0.00) 163.63 (+0.00)
5e08b3 54.64 (+0.01) 54.22 (+0.01) 54.27 (-0.00) 163.12 (+0.01)
4d291d 53.85 (-0.02) 53.86 (-0.01) 54.38 (-0.01) 162.09 (-0.01)
4d291d 54.71 (-0.00) 54.67 (-0.00) 55.18 (+0.01) 164.56 (+0.00)
bf63f1 54.84 (-0.00) 54.80 (-0.01) 54.70 (-0.00) 164.35 (-0.01)
0a0958 54.90 (+0.02) 55.42 (+0.02) 54.89 (+0.01) 165.21 (+0.02)
aabca5 53.98 (+0.02) 54.12 (+0.02) 54.08 (+0.02) 162.19 (+0.02)
a4be54 53.13 (-0.03) 53.20 (-0.02) 53.18 (-0.03) 159.52 (-0.03)
a3d7ad 55.01 (+0.01) 54.55 (+0.00) 54.61 (-0.00) 164.17 (+0.00)
a3d7ad 54.64 (+0.01) 54.52 (-0.01) 54.75 (+0.00) 163.91 (+0.00)
8ba169 54.32 (+0.01) 54.83 (+0.01) 54.54 (+0.02) 163.69 (+0.01)
e5cc2f 53.62 (-0.02) 54.22 (-0.01) 53.63 (-0.03) 161.47 (-0.02)
c6b56d 54.78 (+0.02) 54.80 (+0.02) 55.28 (+0.03) 164.85 (+0.02)
e067cd 53.77 (-0.01) 53.71 (+0.00) 53.74 (+0.00) 161.22 (-0.00)
bce423 54.16 (-0.01) 53.67 (-0.02) 53.74 (-0.02) 161.57 (-0.02)
bce423 54.73 (+0.04) 54.85 (+0.04) 54.75 (+0.04) 164.33 (+0.04)
c28bfd 52.79 (-0.04) 52.90 (-0.04) 52.67 (-0.04) 158.36 (-0.04)
95bf19 54.99 (-0.00) 55.03 (+0.01) 55.02 (+0.00) 165.04 (+0.00)
95bf19 55.26 (+0.03) 54.71 (+0.02) 54.76 (+0.02) 164.73 (+0.03)
080752 53.51 (-0.03) 53.52 (-0.03) 53.50 (-0.03) 160.53 (-0.03)
23d5e2 55.02 (-0.00) 55.05 (-0.00) 55.03 (+0.01) 165.10 (-0.00)
23d5e2 55.13 (+0.00) 55.28 (+0.02) 54.71 (-0.00) 165.13 (+0.01)
8b710b 54.87 (+0.01) 54.41 (+0.00) 54.79 (+0.01) 164.07 (+0.01)
8c6e60 54.28 (-0.01) 54.33 (-0.02) 54.26 (-0.01) 162.87 (-0.01)
10dae7 54.70 (+0.01) 55.38 (+0.02) 54.79 (+0.02) 164.88 (+0.02)
4c4d3d 54.01 (-0.03) 54.08 (-0.02) 53.88 (-0.02) 161.97 (-0.02)
9f94d0 55.62 (+0.01) 55.16 (+0.00) 55.02 (+0.00) 165.80 (+0.00)
9f94d0 55.01 (+0.00) 55.12 (-0.01) 54.88 (-0.00) 165.02 (-0.00)
9f94d0 54.83 (+0.01) 55.63 (+0.02) 55.04 (+0.01) 165.51 (+0.02)
c700c7 54.29 (-0.02) 54.34 (-0.02) 54.36 (-0.02) 163.00 (-0.02)
42c6dd 55.30 (+0.02) 55.72 (+0.02) 55.30 (+0.00) 166.33 (+0.01)
f6bf7b 54.43 (+0.03) 54.61 (+0.03) 55.16 (+0.04) 164.20 (+0.03)
1137b5 52.98 (-0.04) 52.97 (-0.04) 53.01 (-0.04) 158.96 (-0.04)
1468c6 55.25 (+0.00) 55.20 (+0.00) 55.33 (+0.00) 165.78 (+0.00)
1468c6 55.10 (+0.00) 55.17 (-0.01) 55.09 (+0.00) 165.36 (-0.00)
c01f92 54.92 (+0.00) 55.46 (+0.02) 54.99 (+0.01) 165.38 (+0.01)
7ff591 54.75 (-0.00) 54.20 (-0.01) 54.24 (-0.02) 163.19 (-0.01)
5d4774 54.85 (-0.01) 54.76 (-0.01) 55.43 (+0.01) 165.05 (-0.00)
56d8c2 55.26 (+0.04) 55.07 (+0.02) 55.07 (+0.04) 165.40 (+0.03)
12e6f4 53.27 (-0.02) 53.80 (-0.03) 53.17 (-0.03) 160.24 (-0.03)
12e6f4 54.50 (-0.01) 55.30 (+0.00) 54.64 (-0.01) 164.44 (-0.01)
61194a 55.29 (+0.00) 55.18 (+0.01) 55.21 (+0.02) 165.68 (+0.01)
70ce01 55.07 (-0.00) 54.64 (-0.01) 54.39 (-0.02) 164.10 (-0.01)
c04c20 55.18 (-0.00) 55.30 (-0.00) 55.78 (+0.01) 166.25 (+0.00)
827ee1 55.35 (+0.02) 55.34 (+0.01) 55.33 (+0.01) 166.02 (+0.01)
22ae67 54.32 (-0.02) 54.91 (-0.01) 54.61 (-0.01) 163.83 (-0.02)
0f4458 55.70 (+0.01) 55.40 (+0.00) 55.36 (+0.00) 166.45 (+0.00)
0f4458 55.21 (-0.00) 55.31 (+0.00) 55.29 (-0.00) 165.81 (-0.00)
0f4458 55.42 (+0.00) 55.29 (-0.00) 55.30 (+0.00) 166.01 (+0.00)
b8a566 55.23 (-0.01) 55.32 (-0.00) 55.29 (-0.00) 165.85 (-0.01)
b8a566 55.81 (+0.11) 55.52 (+0.10) 55.35 (+0.10) 166.69 (+0.10)
9747e9 50.31 (-0.06) 50.32 (-0.04) 50.30 (-0.04) 150.93 (-0.05)
b50e07 53.58 (-0.02) 52.28 (-0.03) 52.27 (-0.03) 158.13 (-0.03)
6a57d5 54.65 (-0.02) 54.17 (-0.01) 54.12 (-0.01) 162.95 (-0.01)
c0480f 55.66 (+0.05) 54.58 (+0.04) 54.69 (+0.03) 164.93 (+0.04)
4f443c 52.98 (+0.00) 52.37 (+0.00) 52.87 (+0.01) 158.22 (+0.01)
4f443c 52.86 (-0.04) 52.26 (-0.03) 52.30 (-0.03) 157.42 (-0.03)
788823 54.97 (+0.01) 53.98 (-0.01) 53.94 (-0.00) 162.89 (-0.00)
c21104 54.58 (+0.01) 54.68 (+0.03) 54.18 (+0.01) 163.43 (+0.02)
b9544a 53.79 (-0.00) 53.27 (-0.01) 53.48 (+0.00) 160.54 (-0.00)
33834c 53.93 (+0.01) 53.84 (+0.02) 53.28 (-0.00) 161.05 (+0.01)
521667 53.50 (+0.01) 52.84 (-0.01) 53.44 (+0.02) 159.78 (+0.01)
361648 53.06 (-0.04) 53.11 (-0.03) 52.48 (-0.05) 158.66 (-0.04)
fc0629 55.20 54.75 55.26 165.21

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query31]

platform: rds-postgres

revision Q31/1 Q31/2 Q31/3 total_duration
41aa62 55.63 (-0.00) 55.92 (+0.00) 55.62 (-0.00) 167.17 (-0.00)
7b5489 55.80 (-0.01) 55.78 (+0.00) 55.67 (-0.00) 167.25 (-0.00)
a23b07 56.21 (+0.01) 55.67 (-0.00) 55.90 (-0.00) 167.79 (+0.00)
cc2d00 55.86 (+0.01) 55.92 (+0.01) 55.93 (-0.00) 167.70 (+0.01)
ba9df2 55.41 (-0.00) 55.41 (-0.00) 56.00 (+0.01) 166.83 (-0.00)
a8f354 55.60 (-0.01) 55.67 (-0.01) 55.56 (-0.01) 166.84 (-0.01)
7feb0d 56.43 (+0.03) 55.99 (+0.02) 56.06 (+0.02) 168.48 (+0.02)
982fce 54.83 (+0.00) 54.92 (-0.01) 54.82 (-0.00) 164.57 (-0.00)
1f151d 54.82 (-0.00) 55.46 (-0.00) 54.92 (+0.00) 165.20 (-0.00)
ff1a1a 54.99 (+0.00) 55.60 (+0.00) 54.75 (+0.00) 165.34 (+0.00)
b1477b 54.80 (-0.01) 55.35 (-0.01) 54.56 (-0.01) 164.72 (-0.01)
1b947f 55.33 (+0.01) 55.69 (+0.02) 55.21 (+0.02) 166.24 (+0.02)
a21b55 54.90 (+0.01) 54.45 (+0.00) 54.08 (-0.00) 163.42 (+0.00)
4ba950 54.25 (-0.01) 54.24 (-0.02) 54.20 (-0.01) 162.69 (-0.01)
4e359d 54.92 (-0.00) 55.11 (-0.01) 54.89 (-0.00) 164.93 (-0.01)
3837fc 55.13 (-0.00) 55.61 (+0.01) 55.03 (+0.01) 165.77 (+0.01)
edcf4d 55.33 (+0.00) 54.88 (-0.01) 54.65 (-0.00) 164.87 (-0.00)
411c71 55.06 (-0.01) 55.17 (-0.00) 54.89 (-0.01) 165.12 (-0.01)
854348 55.37 (+0.01) 55.36 (+0.01) 55.28 (+0.01) 166.01 (+0.01)
7ba5c2 55.05 (+0.01) 54.64 (-0.00) 54.64 (-0.01) 164.34 (-0.00)
ebea29 54.73 (-0.01) 54.81 (-0.01) 55.27 (+0.00) 164.82 (-0.01)
22c890 55.41 (-0.00) 55.20 (-0.02) 55.09 (-0.01) 165.71 (-0.01)
f0b2e0 55.65 (+0.00) 56.23 (+0.01) 55.60 (-0.01) 167.48 (+0.00)
dec580 55.47 (+0.00) 55.55 (+0.00) 56.12 (+0.00) 167.13 (+0.00)
dec580 55.23 (-0.01) 55.32 (-0.02) 55.93 (-0.01) 166.48 (-0.01)
b1c2a6 55.99 (-0.00) 56.55 (+0.01) 56.32 (+0.01) 168.87 (+0.00)
931094 56.20 (+0.00) 56.00 (-0.00) 56.02 (-0.01) 168.22 (-0.00)
957acb 56.02 (+0.00) 56.28 (+0.01) 56.45 (+0.01) 168.75 (+0.01)
846532 55.97 (+0.00) 55.94 (+0.00) 55.97 (+0.00) 167.89 (+0.00)
d733bc 55.89 (-0.00) 55.86 (-0.01) 55.78 (-0.01) 167.53 (-0.01)
75ffe3 56.16 (+0.01) 56.27 (+0.02) 56.14 (+0.02) 168.57 (+0.01)
75ffe3 55.82 (+0.01) 55.38 (+0.00) 55.31 (-0.01) 166.51 (+0.00)
bf4623 55.30 (-0.00) 55.28 (-0.01) 55.78 (+0.01) 166.36 (-0.00)
b26c83 55.31 (-0.00) 55.90 (+0.01) 55.27 (-0.00) 166.47 (+0.00)
9d714a 55.31 (-0.00) 55.51 (-0.01) 55.35 (+0.00) 166.18 (-0.00)
6efea4 55.33 (+0.01) 55.83 (+0.02) 55.26 (+0.01) 166.42 (+0.01)
4071ff 54.88 (-0.02) 54.94 (-0.02) 54.89 (-0.01) 164.72 (-0.02)
4071ff 55.82 (+0.00) 56.23 (+0.01) 55.67 (-0.01) 167.72 (+0.00)
870ba4 55.54 (-0.00) 55.47 (-0.00) 56.11 (+0.01) 167.13 (+0.00)
f5ca89 55.73 (-0.00) 55.68 (-0.01) 55.58 (-0.01) 166.99 (-0.01)
8bd565 55.96 (+0.01) 56.05 (+0.01) 55.96 (+0.00) 167.97 (+0.01)
dd22c8 55.39 (-0.01) 55.56 (-0.01) 55.68 (-0.01) 166.63 (-0.01)
299db9 56.11 (+0.01) 56.10 (+0.01) 56.05 (+0.01) 168.25 (+0.01)
93f3f4 55.58 (+0.01) 55.69 (+0.01) 55.37 (+0.01) 166.64 (+0.01)
f6e2e0 54.85 (-0.02) 55.18 (-0.00) 54.91 (-0.01) 164.94 (-0.01)
f6e2e0 55.87 (+0.00) 55.38 (-0.01) 55.32 (-0.01) 166.57 (-0.00)
f6e2e0 55.71 (-0.01) 55.69 (-0.00) 55.68 (-0.00) 167.09 (-0.00)
f1d960 56.33 (+0.01) 55.77 (-0.01) 55.76 (-0.00) 167.87 (-0.00)
4a9279 56.03 (+0.01) 56.10 (+0.01) 55.94 (+0.01) 168.07 (+0.01)
2e4bf7 55.36 (-0.00) 55.37 (-0.00) 55.32 (-0.00) 166.05 (-0.00)
ce8fbb 55.45 (+0.00) 55.58 (+0.01) 55.44 (+0.00) 166.47 (+0.00)
ce8fbb 55.21 (-0.00) 55.28 (-0.00) 55.24 (+0.00) 165.73 (-0.00)
ce8fbb 55.25 (-0.01) 55.33 (-0.02) 55.22 (-0.02) 165.80 (-0.02)
d1a0f2 55.98 (+0.01) 56.40 (+0.01) 56.15 (+0.01) 168.53 (+0.01)
ccf92d 55.48 (-0.01) 55.75 (+0.00) 55.63 (+0.00) 166.87 (-0.00)
02b8e0 55.88 (+0.00) 55.68 (-0.00) 55.39 (-0.01) 166.95 (-0.00)
7b9057 55.83 (+0.00) 55.84 (+0.00) 56.00 (+0.01) 167.67 (+0.00)
9cada8 55.66 (-0.00) 55.69 (-0.01) 55.70 (-0.01) 167.05 (-0.01)
9cada8 55.92 (+0.01) 56.10 (+0.00) 56.03 (+0.01) 168.05 (+0.01)
9cada8 55.39 (-0.00) 55.98 (+0.01) 55.39 (+0.00) 166.76 (+0.00)
a60f68 55.46 (+0.00) 55.49 (+0.00) 55.26 (-0.00) 166.21 (+0.00)
d19c52 55.38 (+0.01) 55.43 (+0.01) 55.36 (+0.00) 166.17 (+0.01)
000eb1 54.78 (-0.02) 54.96 (-0.03) 55.28 (-0.01) 165.03 (-0.02)
000eb1 56.07 (+0.00) 56.71 (+0.02) 56.11 (+0.01) 168.89 (+0.01)
f51b48 55.98 (+0.01) 55.54 (-0.00) 55.52 (+0.01) 167.04 (+0.01)
f51b48 55.46 (+0.00) 55.71 (+0.01) 54.95 (-0.01) 166.12 (-0.00)
f51b48 55.23 (+0.00) 55.22 (+0.00) 55.77 (+0.02) 166.23 (+0.01)
9f906f 55.07 (-0.01) 54.95 (-0.02) 54.93 (-0.02) 164.95 (-0.01)
0692ff 55.45 (+0.01) 55.80 (+0.01) 56.06 (+0.02) 167.31 (+0.01)
2caece 55.01 (+0.00) 55.52 (+0.01) 55.07 (+0.01) 165.60 (+0.01)
bc7d3c 54.78 (-0.02) 55.03 (-0.02) 54.77 (-0.01) 164.58 (-0.02)
2153d2 55.76 (+0.01) 56.27 (+0.02) 55.55 (-0.00) 167.58 (+0.01)
2153d2 55.28 (-0.01) 55.33 (-0.01) 55.72 (+0.00) 166.33 (-0.00)
2153d2 55.63 (-0.00) 55.92 (+0.00) 55.45 (-0.01) 167.00 (-0.00)
a1b062 55.67 (-0.00) 55.90 (+0.00) 55.82 (+0.00) 167.40 (+0.00)
1d9d7c 55.71 (-0.02) 55.76 (-0.01) 55.81 (-0.00) 167.28 (-0.01)
3569c1 56.75 (+0.02) 56.08 (+0.00) 55.88 (+0.00) 168.72 (+0.01)
eaff14 55.72 (-0.00) 55.86 (-0.00) 55.87 (-0.01) 167.45 (-0.00)
f383b4 55.97 (+0.01) 55.86 (+0.01) 56.38 (+0.02) 168.21 (+0.02)
f383b4 55.31 (-0.01) 55.31 (-0.00) 55.08 (-0.01) 165.70 (-0.01)
f383b4 55.70 (+0.00) 55.48 (-0.01) 55.60 (-0.01) 166.79 (-0.00)
a4256b 55.70 (+0.01) 55.80 (+0.01) 55.92 (+0.01) 167.42 (+0.01)
371493 55.01 (-0.00) 55.40 (+0.01) 55.51 (+0.01) 165.92 (+0.00)
c5c143 55.27 (-0.00) 55.07 (-0.01) 54.87 (-0.01) 165.21 (-0.01)
58fa4f 55.28 (+0.00) 55.38 (+0.01) 55.39 (+0.01) 166.05 (+0.01)
121d53 55.04 (-0.01) 55.07 (-0.01) 55.00 (-0.01) 165.11 (-0.01)
121d53 55.68 (+0.00) 55.73 (+0.01) 55.52 (+0.00) 166.94 (+0.01)
ec3a3a 55.46 (-0.01) 55.20 (+0.00) 55.39 (+0.00) 166.06 (-0.00)
96e783 55.87 (+0.01) 55.18 (-0.01) 55.24 (-0.00) 166.29 (+0.00)
567b71 55.18 (+0.00) 55.51 (+0.01) 55.41 (-0.00) 166.11 (+0.00)
847fc5 54.97 (-0.00) 54.96 (-0.00) 55.50 (+0.00) 165.43 (-0.00)
5e08b3 55.02 (+0.00) 55.02 (+0.01) 55.45 (+0.01) 165.49 (+0.01)
4d291d 54.88 (-0.01) 54.71 (-0.01) 54.64 (-0.01) 164.23 (-0.01)
4d291d 55.34 (-0.01) 55.36 (-0.01) 55.32 (-0.01) 166.02 (-0.01)
bf63f1 56.09 (+0.00) 55.81 (-0.00) 55.74 (-0.00) 167.64 (+0.00)
0a0958 55.87 (+0.01) 55.82 (+0.02) 55.79 (+0.02) 167.48 (+0.02)
aabca5 55.23 (+0.01) 54.78 (+0.02) 54.78 (+0.02) 164.79 (+0.02)
a4be54 54.66 (-0.01) 53.82 (-0.02) 53.77 (-0.03) 162.25 (-0.02)
a3d7ad 55.21 (-0.00) 55.20 (-0.01) 55.19 (-0.01) 165.60 (-0.01)
a3d7ad 55.27 (-0.00) 55.87 (+0.01) 55.52 (+0.01) 166.66 (+0.01)
8ba169 55.28 (+0.02) 55.16 (+0.01) 55.17 (+0.01) 165.60 (+0.01)
e5cc2f 54.44 (-0.02) 54.52 (-0.02) 54.55 (-0.02) 163.51 (-0.02)
c6b56d 55.44 (+0.02) 55.53 (+0.01) 55.38 (+0.01) 166.36 (+0.01)
e067cd 54.51 (+0.00) 55.05 (+0.01) 54.77 (+0.01) 164.32 (+0.01)
bce423 54.42 (-0.02) 54.61 (-0.02) 54.33 (-0.03) 163.35 (-0.02)
bce423 55.36 (+0.03) 55.49 (+0.04) 55.87 (+0.05) 166.73 (+0.04)
c28bfd 53.95 (-0.03) 53.30 (-0.05) 53.37 (-0.04) 160.63 (-0.04)
95bf19 55.85 (+0.01) 56.32 (+0.01) 55.79 (-0.01) 167.97 (+0.01)
95bf19 55.41 (+0.01) 55.59 (+0.02) 56.10 (+0.03) 167.10 (+0.02)
080752 54.90 (-0.02) 54.24 (-0.04) 54.29 (-0.03) 163.43 (-0.03)
23d5e2 55.80 (+0.01) 56.36 (+0.02) 55.76 (+0.01) 167.92 (+0.01)
23d5e2 55.27 (+0.00) 55.29 (+0.00) 55.30 (-0.01) 165.87 (-0.00)
8b710b 55.15 (+0.00) 55.17 (-0.00) 55.77 (+0.00) 166.09 (+0.00)
8c6e60 55.09 (-0.02) 55.22 (-0.01) 55.75 (+0.00) 166.06 (-0.01)
10dae7 56.08 (+0.03) 55.53 (+0.01) 55.56 (+0.02) 167.17 (+0.02)
4c4d3d 54.66 (-0.02) 55.21 (-0.01) 54.53 (-0.03) 164.39 (-0.02)
9f94d0 55.83 (-0.01) 55.78 (+0.00) 56.16 (+0.01) 167.76 (+0.00)
9f94d0 56.29 (+0.01) 55.78 (-0.00) 55.64 (+0.00) 167.71 (+0.00)
9f94d0 55.80 (+0.01) 55.85 (+0.02) 55.64 (+0.01) 167.29 (+0.01)
c700c7 55.41 (-0.01) 54.90 (-0.02) 55.05 (-0.02) 165.36 (-0.02)
42c6dd 56.16 (+0.02) 55.98 (+0.01) 55.98 (+0.01) 168.12 (+0.01)
f6bf7b 55.28 (+0.03) 55.35 (+0.03) 55.42 (+0.02) 166.05 (+0.03)
1137b5 53.59 (-0.05) 53.78 (-0.05) 54.21 (-0.03) 161.59 (-0.04)
1468c6 56.41 (+0.00) 56.32 (+0.01) 56.00 (-0.00) 168.72 (+0.00)
1468c6 56.38 (+0.01) 56.01 (+0.00) 56.01 (+0.00) 168.40 (+0.01)
c01f92 55.78 (+0.01) 55.87 (+0.01) 55.88 (+0.01) 167.54 (+0.01)
7ff591 55.01 (-0.01) 55.16 (-0.01) 55.57 (-0.00) 165.74 (-0.01)
5d4774 55.65 (-0.01) 55.82 (+0.00) 55.69 (-0.00) 167.16 (-0.00)
56d8c2 56.46 (+0.04) 55.74 (+0.03) 55.72 (+0.03) 167.92 (+0.03)
12e6f4 54.19 (-0.02) 54.25 (-0.02) 54.14 (-0.02) 162.58 (-0.02)
12e6f4 55.52 (-0.02) 55.60 (-0.01) 55.47 (-0.01) 166.60 (-0.01)
61194a 56.57 (+0.02) 56.14 (+0.02) 56.28 (+0.02) 168.99 (+0.02)
70ce01 55.57 (-0.01) 55.22 (-0.02) 55.22 (-0.02) 166.02 (-0.01)
c04c20 56.14 (-0.00) 56.14 (-0.01) 56.14 (+0.00) 168.42 (-0.00)
827ee1 56.16 (+0.02) 56.77 (+0.03) 56.12 (+0.02) 169.05 (+0.02)
22ae67 55.18 (-0.02) 55.13 (-0.02) 55.10 (-0.03) 165.41 (-0.02)
0f4458 56.02 (-0.00) 56.18 (-0.01) 56.82 (+0.01) 169.03 (+0.00)
0f4458 56.14 (+0.00) 56.65 (-0.00) 56.22 (+0.00) 169.01 (-0.00)
0f4458 56.08 (-0.02) 56.87 (+0.01) 56.18 (+0.00) 169.13 (-0.00)
b8a566 57.06 (+0.02) 56.27 (+0.00) 56.18 (-0.01) 169.51 (+0.00)
b8a566 56.03 (+0.10) 56.14 (+0.10) 56.63 (+0.10) 168.81 (+0.10)
9747e9 51.06 (-0.04) 51.02 (-0.04) 51.45 (-0.04) 153.53 (-0.04)
b50e07 53.01 (-0.03) 53.02 (-0.04) 53.69 (-0.03) 159.71 (-0.03)
6a57d5 54.92 (-0.01) 55.09 (-0.01) 55.27 (-0.01) 165.29 (-0.01)
c0480f 55.62 (+0.05) 55.39 (+0.05) 56.02 (+0.06) 167.04 (+0.05)
4f443c 53.10 (-0.00) 53.00 (-0.01) 52.80 (-0.00) 158.91 (-0.01)
4f443c 53.12 (-0.03) 53.64 (-0.02) 52.98 (-0.04) 159.75 (-0.03)
788823 54.71 (-0.01) 54.54 (-0.01) 55.17 (+0.00) 164.42 (-0.00)
c21104 55.10 (+0.01) 55.07 (+0.02) 55.00 (+0.02) 165.17 (+0.01)
b9544a 54.82 (+0.01) 54.24 (-0.01) 54.05 (-0.00) 163.11 (-0.00)
33834c 54.42 (+0.01) 54.70 (+0.01) 54.20 (+0.01) 163.32 (+0.01)
521667 53.99 (+0.01) 53.93 (+0.01) 53.86 (+0.01) 161.78 (+0.01)
361648 53.51 (-0.03) 53.49 (-0.03) 53.34 (-0.03) 160.34 (-0.03)
fc0629 55.36 55.34 55.10 165.80

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query32]

platform: rds-postgres

revision Q32/1 Q32/2 Q32/3 total_duration
41aa62 76.26 (+0.02) 75.92 (+0.00) 76.11 (+0.01) 228.30 (+0.01)
7b5489 74.90 (-0.02) 75.69 (-0.01) 75.27 (-0.01) 225.86 (-0.01)
a23b07 76.07 (+0.00) 76.84 (+0.01) 76.03 (-0.00) 228.94 (+0.00)
cc2d00 76.01 (+0.00) 76.18 (+0.01) 76.17 (+0.01) 228.35 (+0.01)
ba9df2 75.70 (+0.01) 75.13 (-0.02) 75.69 (+0.00) 226.52 (-0.00)
a8f354 75.32 (-0.01) 76.42 (+0.00) 75.46 (-0.02) 227.21 (-0.01)
7feb0d 75.93 (+0.01) 76.38 (+0.01) 77.08 (+0.02) 229.39 (+0.02)
982fce 75.12 (+0.00) 75.53 (+0.01) 75.22 (-0.00) 225.88 (+0.00)
1f151d 75.02 (+0.00) 74.94 (-0.00) 75.29 (+0.00) 225.26 (-0.00)
ff1a1a 74.99 (+0.00) 75.13 (+0.01) 75.27 (+0.01) 225.39 (+0.01)
b1477b 74.62 (-0.02) 74.24 (-0.02) 74.42 (-0.02) 223.27 (-0.02)
1b947f 75.99 (+0.01) 76.09 (+0.02) 76.21 (+0.01) 228.30 (+0.01)
a21b55 75.38 (+0.01) 74.70 (-0.00) 75.27 (+0.00) 225.34 (+0.00)
4ba950 74.90 (-0.01) 74.73 (-0.01) 74.96 (-0.02) 224.59 (-0.01)
4e359d 75.63 (+0.01) 75.40 (+0.00) 76.32 (-0.00) 227.35 (+0.00)
3837fc 75.22 (-0.01) 75.23 (+0.00) 76.64 (+0.02) 227.09 (+0.00)
edcf4d 76.09 (+0.00) 75.07 (-0.01) 74.99 (+0.00) 226.15 (+0.00)
411c71 75.79 (+0.00) 75.71 (-0.00) 74.64 (-0.01) 226.13 (-0.00)
854348 75.49 (+0.01) 75.85 (+0.01) 75.74 (-0.00) 227.07 (+0.01)
7ba5c2 74.57 (-0.01) 75.20 (-0.01) 75.77 (+0.02) 225.55 (+0.00)
ebea29 75.18 (+0.00) 75.83 (+0.01) 74.04 (-0.01) 225.06 (-0.00)
22c890 75.01 (+0.01) 75.29 (-0.00) 75.05 (-0.00) 225.35 (+0.00)
f0b2e0 74.47 (-0.01) 75.47 (+0.00) 75.25 (-0.00) 225.19 (-0.01)
dec580 75.52 (+0.01) 75.21 (-0.01) 75.63 (+0.01) 226.35 (+0.00)
dec580 74.91 (-0.02) 75.65 (-0.01) 75.09 (-0.01) 225.66 (-0.01)
b1c2a6 76.32 (+0.01) 76.30 (+0.01) 75.78 (-0.01) 228.41 (+0.01)
931094 75.25 (-0.02) 75.20 (-0.01) 76.22 (+0.00) 226.66 (-0.01)
957acb 76.49 (+0.00) 75.93 (+0.01) 76.02 (+0.01) 228.43 (+0.00)
846532 76.37 (+0.02) 75.54 (-0.00) 75.59 (+0.01) 227.51 (+0.01)
d733bc 75.08 (-0.00) 75.65 (-0.01) 75.07 (-0.01) 225.81 (-0.01)
75ffe3 75.39 (+0.01) 76.50 (+0.02) 75.78 (+0.01) 227.68 (+0.01)
75ffe3 74.51 (-0.01) 75.35 (+0.00) 75.03 (-0.01) 224.90 (-0.00)
bf4623 75.34 (+0.00) 75.06 (+0.00) 75.50 (+0.00) 225.90 (+0.00)
b26c83 75.20 (-0.00) 74.82 (-0.01) 75.20 (+0.00) 225.22 (-0.00)
9d714a 75.44 (+0.00) 75.70 (+0.01) 74.88 (-0.01) 226.02 (-0.00)
6efea4 75.10 (-0.02) 75.25 (+0.00) 75.98 (+0.02) 226.32 (+0.00)
4071ff 76.50 (+0.01) 75.01 (+0.00) 74.34 (-0.01) 225.86 (+0.00)
4071ff 75.66 (+0.01) 74.98 (+0.00) 75.08 (+0.00) 225.72 (+0.01)
870ba4 74.86 (-0.02) 74.69 (-0.01) 74.87 (-0.01) 224.41 (-0.01)
f5ca89 76.09 (+0.01) 75.77 (-0.00) 75.71 (+0.00) 227.57 (+0.00)
8bd565 75.64 (+0.00) 76.02 (+0.01) 75.37 (-0.00) 227.03 (+0.00)
dd22c8 75.50 (-0.00) 75.09 (-0.02) 75.47 (-0.02) 226.07 (-0.01)
299db9 75.70 (+0.01) 76.62 (+0.02) 76.69 (+0.03) 229.01 (+0.02)
93f3f4 74.99 (+0.00) 75.22 (+0.00) 74.41 (-0.00) 224.61 (+0.00)
f6e2e0 74.71 (-0.01) 74.96 (-0.01) 74.63 (-0.01) 224.30 (-0.01)
f6e2e0 75.13 (-0.00) 75.78 (-0.01) 75.04 (-0.01) 225.96 (-0.01)
f6e2e0 75.26 (-0.01) 76.33 (-0.00) 75.76 (+0.01) 227.35 (-0.00)
f1d960 75.74 (-0.01) 76.69 (+0.00) 75.27 (-0.02) 227.71 (-0.01)
4a9279 76.18 (+0.01) 76.44 (+0.01) 77.06 (+0.02) 229.68 (+0.01)
2e4bf7 75.16 (+0.00) 75.94 (+0.00) 75.72 (-0.00) 226.83 (+0.00)
ce8fbb 75.15 (+0.01) 75.63 (+0.00) 75.89 (+0.02) 226.67 (+0.01)
ce8fbb 74.51 (-0.00) 75.44 (-0.01) 74.44 (-0.02) 224.40 (-0.01)
ce8fbb 74.60 (-0.02) 76.02 (-0.01) 75.73 (-0.01) 226.35 (-0.01)
d1a0f2 76.46 (+0.02) 76.43 (+0.02) 76.79 (+0.02) 229.68 (+0.02)
ccf92d 75.24 (-0.01) 74.85 (+0.00) 75.63 (+0.00) 225.73 (-0.00)
02b8e0 76.16 (-0.00) 74.75 (-0.00) 75.39 (+0.00) 226.31 (-0.00)
7b9057 76.21 (+0.01) 75.02 (-0.02) 75.10 (-0.00) 226.33 (-0.01)
9cada8 75.79 (+0.01) 76.81 (+0.01) 75.30 (-0.00) 227.91 (+0.01)
9cada8 75.16 (+0.01) 75.83 (+0.01) 75.43 (+0.01) 226.42 (+0.01)
9cada8 74.52 (-0.02) 75.36 (+0.01) 74.93 (-0.01) 224.81 (-0.01)
a60f68 75.76 (-0.01) 74.90 (-0.00) 75.79 (+0.01) 226.46 (+0.00)
d19c52 76.29 (+0.01) 75.19 (-0.01) 74.86 (-0.00) 226.33 (-0.00)
000eb1 75.37 (+0.00) 76.31 (+0.01) 75.23 (-0.02) 226.92 (-0.00)
000eb1 75.36 (+0.01) 75.39 (+0.01) 76.68 (+0.01) 227.43 (+0.01)
f51b48 74.60 (-0.01) 74.57 (-0.00) 75.58 (+0.01) 224.76 (-0.00)
f51b48 75.29 (+0.00) 74.74 (-0.01) 75.19 (+0.00) 225.22 (+0.00)
f51b48 75.03 (-0.00) 75.14 (+0.01) 74.89 (+0.01) 225.06 (+0.01)
9f906f 75.07 (-0.01) 74.68 (-0.01) 74.18 (-0.02) 223.93 (-0.02)
0692ff 75.85 (+0.01) 75.62 (+0.01) 75.87 (+0.01) 227.34 (+0.01)
2caece 75.08 (+0.01) 74.55 (-0.00) 74.94 (-0.00) 224.56 (+0.00)
bc7d3c 74.38 (-0.01) 74.69 (-0.01) 74.95 (+0.00) 224.03 (-0.00)
2153d2 75.11 (+0.01) 75.20 (+0.00) 74.66 (-0.01) 224.97 (+0.00)
2153d2 74.48 (-0.00) 75.01 (-0.01) 75.10 (-0.00) 224.59 (-0.00)
2153d2 74.50 (-0.01) 75.54 (-0.00) 75.36 (+0.00) 225.40 (-0.01)
a1b062 75.59 (+0.00) 75.91 (+0.01) 75.34 (+0.00) 226.84 (+0.00)
1d9d7c 75.40 (-0.00) 75.35 (-0.00) 75.00 (-0.02) 225.75 (-0.01)
3569c1 75.76 (+0.00) 75.44 (-0.01) 76.34 (+0.00) 227.54 (-0.00)
eaff14 75.70 (+0.00) 75.86 (+0.01) 76.02 (+0.01) 227.58 (+0.01)
f383b4 75.68 (+0.00) 75.30 (+0.01) 75.33 (+0.01) 226.32 (+0.01)
f383b4 75.35 (+0.00) 74.70 (-0.01) 74.52 (-0.01) 224.57 (-0.00)
f383b4 75.19 (+0.00) 75.17 (-0.01) 74.90 (-0.00) 225.26 (-0.00)
a4256b 75.10 (-0.01) 76.19 (+0.01) 74.95 (-0.00) 226.24 (-0.00)
371493 75.62 (-0.00) 75.60 (+0.02) 75.10 (-0.00) 226.32 (+0.00)
c5c143 75.68 (+0.00) 74.11 (-0.02) 75.40 (-0.00) 225.19 (-0.01)
58fa4f 75.61 (-0.00) 75.41 (+0.01) 75.67 (+0.01) 226.69 (+0.01)
121d53 75.82 (-0.00) 74.61 (-0.01) 74.62 (-0.00) 225.05 (-0.00)
121d53 76.03 (+0.01) 75.13 (+0.01) 74.67 (+0.00) 225.83 (+0.01)
ec3a3a 75.12 (+0.00) 74.51 (-0.01) 74.32 (-0.02) 223.95 (-0.01)
96e783 75.12 (+0.00) 74.95 (-0.00) 75.60 (+0.01) 225.67 (+0.00)
567b71 74.97 (-0.00) 75.13 (+0.01) 74.97 (+0.01) 225.06 (+0.00)
847fc5 75.04 (+0.00) 74.62 (-0.00) 74.59 (-0.01) 224.24 (-0.01)
5e08b3 74.94 (+0.00) 74.91 (-0.01) 75.64 (+0.02) 225.49 (+0.00)
4d291d 74.71 (-0.00) 75.67 (-0.00) 74.20 (-0.01) 224.58 (-0.00)
4d291d 74.87 (-0.01) 75.72 (+0.00) 75.06 (-0.02) 225.66 (-0.01)
bf63f1 75.36 (-0.01) 75.38 (-0.00) 76.98 (+0.02) 227.72 (+0.00)
0a0958 76.33 (+0.03) 75.39 (+0.01) 75.16 (+0.01) 226.88 (+0.02)
aabca5 74.14 (+0.00) 74.35 (+0.01) 74.77 (+0.01) 223.26 (+0.01)
a4be54 73.95 (-0.01) 73.56 (-0.02) 73.90 (-0.01) 221.40 (-0.02)
a3d7ad 75.02 (+0.01) 74.89 (-0.01) 74.96 (-0.01) 224.87 (-0.00)
a3d7ad 74.56 (-0.01) 75.27 (+0.01) 75.79 (+0.01) 225.63 (+0.00)
8ba169 75.48 (+0.01) 74.79 (+0.02) 75.27 (+0.01) 225.54 (+0.01)
e5cc2f 74.53 (-0.01) 73.68 (-0.02) 74.40 (-0.02) 222.61 (-0.02)
c6b56d 75.48 (+0.01) 75.40 (+0.01) 75.58 (+0.01) 226.46 (+0.01)
e067cd 74.66 (+0.01) 74.70 (+0.01) 74.89 (+0.02) 224.25 (+0.01)
bce423 74.24 (-0.01) 73.70 (-0.02) 73.10 (-0.02) 221.04 (-0.02)
bce423 74.98 (+0.04) 75.55 (+0.04) 74.80 (+0.03) 225.33 (+0.04)
c28bfd 72.23 (-0.04) 72.73 (-0.05) 72.74 (-0.04) 217.70 (-0.04)
95bf19 75.45 (-0.00) 76.26 (+0.01) 75.98 (-0.01) 227.69 (-0.00)
95bf19 75.47 (+0.02) 75.66 (+0.02) 76.97 (+0.02) 228.10 (+0.02)
080752 74.22 (-0.02) 74.14 (-0.01) 75.16 (+0.00) 223.52 (-0.01)
23d5e2 75.68 (+0.01) 75.08 (+0.01) 75.05 (+0.01) 225.82 (+0.01)
23d5e2 75.10 (-0.01) 74.69 (+0.00) 74.50 (-0.00) 224.30 (-0.00)
8b710b 75.89 (+0.01) 74.66 (-0.00) 74.70 (-0.02) 225.25 (-0.00)
8c6e60 74.81 (-0.02) 74.96 (-0.00) 76.23 (+0.01) 226.01 (-0.00)
10dae7 76.08 (+0.03) 75.09 (+0.01) 75.49 (+0.02) 226.66 (+0.02)
4c4d3d 74.00 (-0.03) 74.48 (-0.01) 74.09 (-0.02) 222.58 (-0.02)
9f94d0 76.14 (+0.00) 75.39 (-0.02) 75.47 (-0.01) 227.00 (-0.01)
9f94d0 76.05 (-0.01) 76.98 (+0.01) 76.21 (-0.01) 229.25 (-0.00)
9f94d0 76.86 (+0.03) 76.06 (+0.01) 76.72 (+0.03) 229.65 (+0.02)
c700c7 74.66 (-0.02) 74.95 (-0.02) 74.46 (-0.02) 224.07 (-0.02)
42c6dd 76.12 (+0.02) 76.18 (+0.01) 75.77 (-0.00) 228.07 (+0.01)
f6bf7b 74.93 (+0.02) 75.30 (+0.03) 75.95 (+0.04) 226.18 (+0.03)
1137b5 73.72 (-0.03) 73.09 (-0.04) 73.29 (-0.04) 220.11 (-0.04)
1468c6 75.74 (+0.00) 76.07 (-0.00) 76.44 (+0.01) 228.25 (+0.00)
1468c6 75.39 (-0.00) 76.10 (+0.01) 75.79 (+0.01) 227.28 (+0.01)
c01f92 75.69 (+0.01) 75.23 (-0.00) 75.15 (-0.00) 226.08 (+0.00)
7ff591 74.85 (-0.01) 75.36 (-0.01) 75.15 (-0.01) 225.36 (-0.01)
5d4774 75.64 (+0.01) 75.94 (+0.01) 75.61 (-0.01) 227.19 (+0.00)
56d8c2 75.13 (+0.02) 75.46 (+0.01) 76.03 (+0.03) 226.63 (+0.02)
12e6f4 73.42 (-0.02) 74.71 (-0.00) 73.96 (-0.01) 222.09 (-0.01)
12e6f4 75.15 (-0.01) 74.79 (-0.01) 75.02 (-0.01) 224.97 (-0.01)
61194a 76.04 (+0.02) 75.92 (+0.02) 76.01 (+0.01) 227.98 (+0.01)
70ce01 74.90 (-0.02) 74.62 (-0.04) 75.36 (-0.01) 224.87 (-0.02)
c04c20 76.40 (+0.01) 77.84 (+0.03) 76.02 (+0.00) 230.26 (+0.01)
827ee1 75.85 (+0.01) 75.51 (+0.01) 75.77 (+0.02) 227.13 (+0.01)
22ae67 75.08 (-0.01) 74.68 (-0.01) 74.62 (-0.03) 224.39 (-0.02)
0f4458 75.60 (-0.02) 75.52 (+0.00) 77.09 (+0.01) 228.21 (-0.01)
0f4458 77.47 (+0.03) 75.45 (-0.00) 76.44 (+0.01) 229.36 (+0.01)
0f4458 75.42 (-0.01) 75.46 (-0.00) 75.51 (-0.00) 226.38 (-0.01)
b8a566 76.28 (+0.01) 75.73 (-0.00) 75.83 (-0.00) 227.84 (+0.00)
b8a566 75.79 (+0.08) 75.84 (+0.09) 76.12 (+0.09) 227.75 (+0.09)
9747e9 69.93 (-0.03) 69.59 (-0.04) 69.88 (-0.05) 209.40 (-0.04)
b50e07 72.28 (-0.02) 72.57 (-0.02) 73.40 (-0.00) 218.25 (-0.01)
6a57d5 74.02 (-0.02) 73.79 (-0.02) 73.61 (-0.02) 221.42 (-0.02)
c0480f 75.47 (+0.04) 75.23 (+0.04) 75.41 (+0.05) 226.11 (+0.04)
4f443c 72.31 (+0.00) 72.65 (+0.01) 72.05 (-0.02) 217.01 (-0.00)
4f443c 72.18 (-0.02) 72.00 (-0.02) 73.23 (-0.01) 217.42 (-0.02)
788823 74.00 (-0.02) 73.73 (-0.02) 74.03 (-0.01) 221.77 (-0.01)
c21104 75.32 (+0.03) 74.90 (+0.02) 74.83 (+0.02) 225.05 (+0.02)
b9544a 73.39 (-0.01) 73.67 (-0.01) 73.64 (-0.01) 220.69 (-0.01)
33834c 74.08 (+0.01) 74.53 (+0.01) 74.28 (+0.01) 222.89 (+0.01)
521667 73.55 (+0.01) 74.00 (+0.00) 73.75 (+0.00) 221.30 (+0.00)
361648 73.06 (-0.02) 73.88 (-0.02) 73.40 (-0.02) 220.35 (-0.02)
fc0629 74.53 75.47 74.55 224.55

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query33]

platform: rds-postgres

revision Q33/1 Q33/2 Q33/3 total_duration
41aa62 142.15 (+0.02) 141.75 (+0.01) 142.20 (+0.02) 426.10 (+0.02)
7b5489 138.87 (-0.03) 139.67 (-0.03) 139.06 (-0.03) 417.61 (-0.03)
a23b07 143.55 (+0.01) 144.13 (+0.01) 142.75 (-0.00) 430.43 (+0.00)
cc2d00 142.72 (-0.00) 142.98 (+0.01) 143.20 (+0.00) 428.90 (+0.00)
ba9df2 142.75 (+0.00) 142.14 (-0.01) 142.95 (-0.00) 427.84 (-0.00)
a8f354 142.27 (-0.01) 143.59 (-0.00) 142.97 (-0.01) 428.83 (-0.00)
7feb0d 143.19 (+0.02) 143.83 (+0.02) 143.89 (+0.02) 430.92 (+0.02)
982fce 140.60 (-0.00) 140.94 (-0.01) 140.68 (-0.01) 422.21 (-0.01)
1f151d 141.02 (-0.00) 141.92 (+0.01) 141.99 (+0.01) 424.93 (+0.01)
ff1a1a 141.06 (+0.00) 141.17 (+0.01) 140.22 (-0.00) 422.45 (+0.00)
b1477b 140.99 (-0.01) 140.28 (-0.02) 140.54 (-0.01) 421.82 (-0.01)
1b947f 142.45 (+0.01) 142.52 (+0.01) 142.19 (+0.00) 427.16 (+0.01)
a21b55 140.77 (+0.00) 141.15 (-0.00) 141.98 (-0.00) 423.89 (-0.00)
4ba950 140.35 (-0.01) 141.20 (+0.00) 142.57 (-0.00) 424.12 (-0.00)
4e359d 141.10 (-0.01) 140.76 (-0.01) 143.00 (+0.01) 424.87 (-0.00)
3837fc 141.92 (-0.01) 142.51 (-0.01) 142.03 (-0.00) 426.45 (-0.01)
edcf4d 143.16 (-0.00) 143.38 (-0.01) 142.32 (-0.02) 428.86 (-0.01)
411c71 143.27 (+0.00) 144.11 (+0.00) 144.51 (+0.00) 431.90 (+0.00)
854348 143.05 (+0.00) 144.04 (+0.01) 144.01 (-0.00) 431.09 (+0.00)
7ba5c2 142.45 (+0.03) 143.10 (+0.03) 144.35 (+0.03) 429.90 (+0.03)
ebea29 138.79 (-0.01) 138.69 (-0.00) 140.81 (+0.01) 418.29 (+0.00)
22c890 140.40 (+0.01) 138.71 (-0.01) 139.02 (-0.01) 418.12 (+0.00)
f0b2e0 138.78 (-0.01) 139.42 (-0.00) 139.74 (-0.01) 417.94 (-0.01)
dec580 140.47 (+0.01) 139.88 (+0.00) 140.71 (+0.01) 421.06 (+0.01)
dec580 139.60 (-0.01) 139.74 (-0.01) 139.60 (-0.01) 418.95 (-0.01)
b1c2a6 140.90 (+0.01) 140.54 (+0.00) 140.64 (+0.01) 422.09 (+0.00)
931094 139.88 (-0.00) 140.39 (+0.00) 139.86 (-0.01) 420.13 (-0.00)
957acb 140.39 (-0.00) 140.23 (-0.01) 140.65 (-0.01) 421.27 (-0.01)
846532 141.04 (-0.01) 140.95 (-0.00) 142.44 (+0.01) 424.42 (-0.00)
d733bc 142.69 (+0.01) 141.44 (-0.01) 141.44 (-0.00) 425.57 (-0.00)
75ffe3 141.70 (+0.01) 142.68 (+0.01) 141.67 (+0.01) 426.05 (+0.01)
75ffe3 140.33 (+0.00) 140.88 (+0.01) 140.12 (+0.00) 421.32 (+0.00)
bf4623 139.95 (-0.00) 139.38 (-0.00) 140.12 (-0.00) 419.45 (-0.00)
b26c83 140.36 (+0.00) 139.67 (-0.00) 140.16 (+0.01) 420.20 (+0.00)
9d714a 140.16 (+0.01) 139.79 (+0.00) 139.41 (-0.01) 419.37 (-0.00)
6efea4 139.22 (+0.00) 139.39 (-0.00) 141.05 (+0.01) 419.67 (+0.00)
4071ff 139.18 (-0.01) 139.43 (-0.00) 139.48 (-0.01) 418.10 (-0.01)
4071ff 140.25 (+0.00) 139.53 (+0.00) 140.50 (-0.01) 420.29 (-0.00)
870ba4 140.15 (-0.00) 139.10 (-0.01) 141.42 (+0.01) 420.66 (+0.00)
f5ca89 140.17 (-0.01) 139.83 (-0.01) 140.11 (-0.00) 420.11 (-0.01)
8bd565 141.11 (-0.01) 141.70 (+0.00) 140.67 (-0.00) 423.48 (-0.00)
dd22c8 142.58 (+0.00) 141.44 (-0.00) 141.02 (-0.00) 425.04 (-0.00)
299db9 142.18 (+0.02) 142.04 (+0.01) 141.67 (+0.02) 425.89 (+0.02)
93f3f4 138.87 (-0.00) 140.61 (+0.00) 138.79 (-0.00) 418.28 (+0.00)
f6e2e0 139.19 (-0.01) 140.02 (-0.01) 139.03 (-0.00) 418.25 (-0.01)
f6e2e0 140.18 (+0.00) 141.23 (+0.00) 139.71 (-0.00) 421.13 (+0.00)
f6e2e0 139.74 (-0.00) 140.76 (-0.00) 139.92 (-0.00) 420.42 (-0.00)
f1d960 139.81 (-0.00) 141.02 (-0.00) 140.10 (-0.02) 420.92 (-0.01)
4a9279 140.11 (-0.00) 141.41 (-0.01) 142.88 (+0.02) 424.39 (+0.00)
2e4bf7 140.25 (+0.00) 142.36 (+0.01) 139.85 (-0.00) 422.47 (+0.00)
ce8fbb 140.15 (-0.00) 140.57 (-0.01) 140.00 (+0.00) 420.72 (-0.00)
ce8fbb 140.17 (-0.00) 141.59 (+0.00) 139.73 (-0.00) 421.50 (+0.00)
ce8fbb 140.21 (-0.01) 141.36 (-0.00) 139.92 (-0.03) 421.49 (-0.01)
d1a0f2 141.31 (+0.00) 141.47 (+0.00) 144.07 (+0.03) 426.86 (+0.01)
ccf92d 141.26 (+0.01) 140.93 (+0.00) 140.48 (+0.00) 422.67 (+0.00)
02b8e0 140.49 (+0.01) 140.47 (-0.01) 140.32 (-0.00) 421.27 (-0.00)
7b9057 139.50 (-0.01) 141.70 (+0.00) 140.50 (-0.01) 421.70 (-0.01)
9cada8 140.88 (+0.01) 141.59 (+0.01) 142.06 (+0.01) 424.52 (+0.01)
9cada8 140.09 (+0.01) 140.54 (+0.00) 140.86 (+0.01) 421.49 (+0.01)
9cada8 138.76 (-0.01) 140.34 (-0.01) 139.32 (-0.01) 418.42 (-0.01)
a60f68 140.50 (+0.00) 142.01 (+0.01) 140.79 (+0.01) 423.31 (+0.01)
d19c52 140.26 (+0.00) 140.10 (-0.01) 139.87 (-0.00) 420.23 (-0.00)
000eb1 139.97 (-0.02) 141.42 (-0.00) 139.95 (-0.00) 421.35 (-0.01)
000eb1 142.86 (+0.02) 141.42 (-0.01) 140.02 (-0.00) 424.30 (+0.00)
f51b48 140.52 (-0.01) 142.50 (+0.01) 140.46 (-0.01) 423.49 (-0.00)
f51b48 141.68 (-0.00) 141.29 (+0.00) 142.59 (+0.01) 425.57 (+0.00)
f51b48 141.92 (-0.00) 141.22 (-0.01) 141.44 (-0.01) 424.58 (-0.01)
9f906f 142.45 (-0.01) 141.95 (-0.01) 142.44 (-0.01) 426.84 (-0.01)
0692ff 143.71 (+0.01) 142.90 (+0.00) 143.93 (+0.02) 430.54 (+0.01)
2caece 142.22 (+0.01) 142.87 (+0.01) 141.58 (+0.02) 426.68 (+0.01)
bc7d3c 140.21 (+0.00) 141.66 (+0.02) 139.20 (-0.00) 421.07 (+0.01)
2153d2 139.65 (+0.01) 139.54 (+0.02) 139.49 (+0.02) 418.69 (+0.01)
2153d2 138.50 (+0.00) 137.37 (-0.00) 137.28 (-0.01) 413.15 (-0.00)
2153d2 138.40 (-0.01) 137.93 (-0.01) 138.58 (-0.02) 414.92 (-0.01)
a1b062 139.29 (-0.00) 139.81 (+0.00) 141.25 (+0.00) 420.36 (+0.00)
1d9d7c 139.30 (+0.00) 139.47 (-0.00) 141.07 (+0.01) 419.85 (+0.00)
3569c1 138.81 (+0.00) 139.48 (+0.01) 140.10 (+0.01) 418.40 (+0.01)
eaff14 138.72 (+0.00) 138.36 (+0.01) 138.14 (+0.00) 415.22 (+0.01)
f383b4 138.18 (+0.01) 136.97 (+0.00) 137.82 (+0.01) 412.97 (+0.01)
f383b4 137.29 (+0.00) 136.43 (-0.00) 135.96 (-0.00) 409.69 (+0.00)
f383b4 136.67 (-0.00) 136.60 (-0.01) 136.16 (-0.00) 409.43 (-0.01)
a4256b 136.88 (-0.01) 138.02 (-0.00) 136.63 (-0.01) 411.53 (-0.01)
371493 138.64 (+0.02) 138.45 (+0.01) 138.16 (+0.00) 415.25 (+0.01)
c5c143 135.88 (-0.01) 136.59 (-0.02) 137.77 (+0.00) 410.25 (-0.01)
58fa4f 137.63 (-0.00) 139.95 (+0.02) 137.44 (+0.00) 415.02 (+0.01)
121d53 137.94 (+0.00) 137.66 (+0.00) 137.24 (-0.00) 412.83 (+0.00)
121d53 137.65 (+0.00) 137.49 (+0.01) 137.29 (-0.00) 412.43 (+0.00)
ec3a3a 137.38 (-0.00) 136.57 (-0.01) 137.94 (+0.01) 411.89 (-0.00)
96e783 137.41 (-0.00) 137.50 (-0.01) 137.12 (-0.01) 412.03 (-0.01)
567b71 138.02 (-0.01) 138.79 (+0.01) 138.35 (+0.00) 415.16 (+0.00)
847fc5 138.87 (+0.01) 137.66 (+0.00) 137.95 (+0.00) 414.48 (+0.00)
5e08b3 138.07 (+0.01) 137.25 (-0.01) 137.76 (+0.01) 413.08 (+0.00)
4d291d 137.00 (-0.00) 138.33 (+0.00) 136.77 (-0.00) 412.11 (-0.00)
4d291d 137.60 (-0.00) 138.08 (-0.00) 137.13 (-0.00) 412.81 (-0.00)
bf63f1 138.12 (-0.01) 138.61 (+0.01) 137.69 (+0.00) 414.43 (+0.00)
0a0958 139.00 (+0.01) 137.87 (+0.00) 137.23 (-0.00) 414.10 (+0.00)
aabca5 137.24 (+0.01) 137.26 (+0.01) 137.61 (+0.02) 412.11 (+0.01)
a4be54 135.63 (-0.01) 136.20 (-0.01) 135.38 (-0.02) 407.22 (-0.01)
a3d7ad 137.65 (+0.00) 137.29 (-0.00) 138.33 (+0.00) 413.27 (+0.00)
a3d7ad 137.31 (-0.00) 137.37 (-0.01) 138.19 (+0.01) 412.87 (-0.00)
8ba169 137.73 (+0.00) 138.47 (+0.01) 137.04 (+0.01) 413.25 (+0.01)
e5cc2f 137.45 (+0.00) 136.62 (-0.01) 136.03 (-0.01) 410.10 (-0.01)
c6b56d 137.26 (+0.00) 138.59 (+0.01) 137.37 (+0.01) 413.22 (+0.01)
e067cd 136.92 (+0.01) 137.33 (+0.02) 136.59 (+0.01) 410.85 (+0.01)
bce423 135.21 (-0.02) 134.82 (-0.01) 135.25 (-0.02) 405.28 (-0.02)
bce423 137.97 (+0.02) 136.68 (+0.01) 137.59 (+0.03) 412.24 (+0.02)
c28bfd 135.21 (-0.02) 134.84 (-0.03) 134.01 (-0.04) 404.06 (-0.03)
95bf19 138.25 (-0.00) 138.95 (+0.01) 139.59 (+0.01) 416.79 (+0.00)
95bf19 138.85 (+0.01) 137.87 (+0.01) 138.70 (+0.02) 415.43 (+0.01)
080752 136.94 (-0.01) 136.74 (+0.00) 136.20 (-0.01) 409.88 (-0.00)
23d5e2 137.64 (+0.01) 136.62 (+0.00) 137.43 (+0.01) 411.70 (+0.01)
23d5e2 136.70 (-0.01) 136.29 (-0.01) 136.66 (-0.01) 409.65 (-0.01)
8b710b 138.04 (-0.01) 137.24 (-0.01) 138.26 (-0.00) 413.54 (-0.01)
8c6e60 139.91 (+0.02) 138.04 (-0.01) 138.63 (+0.01) 416.58 (+0.00)
10dae7 137.63 (-0.01) 139.31 (+0.02) 137.88 (+0.00) 414.82 (+0.01)
4c4d3d 138.83 (-0.00) 136.54 (-0.01) 137.24 (-0.01) 412.61 (-0.01)
9f94d0 139.42 (+0.01) 138.33 (+0.00) 138.54 (+0.01) 416.29 (+0.01)
9f94d0 138.35 (+0.00) 137.94 (-0.01) 137.71 (-0.01) 414.00 (-0.00)
9f94d0 137.83 (+0.01) 139.02 (+0.01) 138.78 (+0.00) 415.63 (+0.01)
c700c7 136.99 (-0.01) 137.79 (-0.03) 138.40 (-0.00) 413.19 (-0.01)
42c6dd 137.98 (+0.00) 141.36 (+0.02) 138.81 (+0.01) 418.15 (+0.01)
f6bf7b 137.62 (+0.00) 138.60 (+0.02) 137.48 (+0.01) 413.71 (+0.01)
1137b5 137.02 (-0.01) 136.38 (-0.02) 136.64 (-0.02) 410.04 (-0.02)
1468c6 138.24 (+0.00) 138.83 (+0.01) 139.85 (+0.01) 416.92 (+0.01)
1468c6 138.09 (+0.00) 138.11 (-0.00) 138.05 (+0.00) 414.26 (+0.00)
c01f92 137.81 (-0.00) 138.34 (+0.00) 137.78 (+0.00) 413.93 (-0.00)
7ff591 138.42 (+0.00) 137.80 (-0.02) 137.72 (-0.01) 413.95 (-0.01)
5d4774 137.73 (-0.00) 140.23 (+0.01) 139.00 (+0.01) 416.96 (+0.01)
56d8c2 137.85 (+0.02) 138.53 (+0.02) 138.03 (+0.03) 414.41 (+0.02)
12e6f4 135.79 (-0.00) 135.29 (-0.01) 134.54 (-0.02) 405.62 (-0.01)
12e6f4 136.28 (-0.01) 137.17 (-0.01) 136.80 (-0.00) 410.25 (-0.01)
61194a 137.66 (-0.00) 139.23 (+0.02) 136.99 (+0.01) 413.89 (+0.01)
70ce01 137.92 (-0.01) 136.06 (-0.03) 136.04 (-0.03) 410.02 (-0.02)
c04c20 138.99 (-0.00) 139.82 (+0.00) 139.60 (+0.00) 418.41 (+0.00)
827ee1 139.56 (+0.01) 139.30 (+0.01) 139.20 (+0.01) 418.06 (+0.01)
22ae67 138.29 (-0.01) 137.41 (-0.01) 137.31 (-0.02) 413.01 (-0.01)
0f4458 139.91 (+0.02) 138.40 (-0.01) 140.01 (+0.01) 418.33 (+0.01)
0f4458 137.27 (-0.00) 139.49 (+0.02) 138.37 (-0.00) 415.14 (+0.00)
0f4458 137.34 (-0.01) 137.26 (-0.01) 138.89 (+0.00) 413.49 (-0.01)
b8a566 138.88 (-0.01) 139.11 (+0.00) 138.37 (-0.01) 416.37 (-0.00)
b8a566 139.92 (+0.06) 138.69 (+0.05) 139.25 (+0.05) 417.87 (+0.05)
9747e9 131.87 (-0.02) 132.56 (-0.02) 132.56 (-0.02) 396.99 (-0.02)
b50e07 134.03 (-0.02) 135.69 (+0.00) 135.35 (-0.01) 405.07 (-0.01)
6a57d5 136.19 (-0.02) 135.03 (-0.03) 136.85 (-0.01) 408.07 (-0.02)
c0480f 138.61 (+0.04) 138.83 (+0.04) 138.07 (+0.04) 415.51 (+0.04)
4f443c 132.86 (-0.01) 134.01 (+0.00) 133.40 (-0.01) 400.27 (-0.00)
4f443c 134.02 (-0.02) 133.35 (-0.02) 134.78 (-0.01) 402.16 (-0.02)
788823 136.96 (+0.00) 136.38 (+0.00) 136.35 (+0.01) 409.69 (+0.00)
c21104 136.61 (+0.01) 135.90 (-0.00) 135.47 (-0.00) 407.99 (+0.00)
b9544a 135.89 (-0.01) 135.90 (-0.01) 135.96 (-0.01) 407.75 (-0.01)
33834c 137.13 (-0.00) 137.20 (-0.01) 137.00 (-0.01) 411.33 (-0.00)
521667 137.66 (+0.01) 137.91 (-0.00) 137.76 (+0.00) 413.32 (+0.00)
361648 136.67 (-0.02) 138.16 (-0.01) 137.35 (-0.01) 412.18 (-0.01)
fc0629 139.08 140.14 138.80 418.02

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query34]

platform: rds-postgres

revision Q34/1 Q34/2 Q34/3 total_duration
41aa62 134.70 (+0.02) 135.18 (+0.02) 135.56 (+0.02) 405.44 (+0.02)
7b5489 132.64 (-0.03) 132.53 (-0.03) 133.28 (-0.02) 398.46 (-0.02)
a23b07 136.47 (+0.00) 135.96 (+0.01) 135.73 (-0.00) 408.16 (+0.00)
cc2d00 136.13 (+0.02) 135.22 (+0.00) 135.79 (+0.01) 407.14 (+0.01)
ba9df2 133.98 (-0.01) 134.55 (-0.01) 134.77 (-0.00) 403.31 (-0.01)
a8f354 135.44 (-0.00) 135.83 (+0.00) 135.27 (-0.00) 406.53 (-0.00)
7feb0d 136.12 (+0.01) 135.16 (+0.01) 135.76 (+0.01) 407.03 (+0.01)
982fce 134.40 (+0.01) 134.16 (-0.01) 133.88 (-0.00) 402.44 (+0.00)
1f151d 133.49 (-0.01) 134.90 (+0.01) 134.05 (-0.00) 402.44 (-0.00)
ff1a1a 134.72 (+0.01) 134.03 (-0.00) 134.54 (+0.00) 403.29 (+0.00)
b1477b 133.30 (-0.01) 134.23 (-0.01) 133.98 (-0.01) 401.51 (-0.01)
1b947f 135.07 (+0.00) 135.36 (+0.00) 135.00 (+0.00) 405.44 (+0.00)
a21b55 134.41 (-0.01) 134.97 (+0.00) 134.66 (+0.00) 404.04 (-0.00)
4ba950 135.18 (+0.00) 134.75 (+0.01) 134.64 (-0.00) 404.56 (+0.00)
4e359d 134.71 (-0.00) 133.74 (-0.02) 135.17 (+0.01) 403.62 (-0.00)
3837fc 134.73 (-0.01) 135.81 (+0.00) 134.49 (-0.01) 405.03 (-0.00)
edcf4d 136.39 (-0.00) 135.16 (-0.01) 135.38 (-0.01) 406.93 (-0.00)
411c71 136.47 (-0.00) 136.05 (+0.00) 136.10 (-0.00) 408.62 (+0.00)
854348 136.66 (+0.01) 135.58 (+0.01) 136.12 (+0.01) 408.37 (+0.01)
7ba5c2 135.19 (+0.03) 134.82 (+0.02) 135.31 (+0.01) 405.32 (+0.02)
ebea29 131.60 (-0.01) 131.94 (-0.00) 133.56 (+0.01) 397.10 (+0.00)
22c890 132.32 (+0.00) 132.22 (-0.00) 132.53 (-0.00) 397.07 (+0.00)
f0b2e0 131.83 (-0.01) 132.42 (-0.00) 132.74 (+0.00) 396.99 (-0.00)
dec580 132.65 (+0.01) 132.62 (+0.01) 132.35 (+0.00) 397.63 (+0.00)
dec580 131.90 (-0.01) 131.83 (-0.02) 131.97 (-0.01) 395.70 (-0.01)
b1c2a6 133.01 (+0.00) 134.40 (+0.01) 133.10 (+0.00) 400.51 (+0.01)
931094 132.97 (-0.00) 132.65 (-0.01) 132.69 (-0.01) 398.31 (-0.01)
957acb 133.10 (+0.00) 133.52 (+0.00) 133.73 (+0.01) 400.36 (+0.01)
846532 132.59 (-0.00) 132.97 (-0.00) 132.46 (-0.00) 398.03 (-0.00)
d733bc 133.00 (-0.01) 133.02 (-0.00) 133.11 (-0.01) 399.14 (-0.01)
75ffe3 133.88 (+0.01) 133.42 (+0.01) 134.18 (+0.01) 401.48 (+0.01)
75ffe3 133.10 (+0.01) 132.18 (-0.00) 132.38 (+0.00) 397.65 (+0.00)
bf4623 131.67 (-0.00) 132.76 (-0.00) 131.96 (-0.01) 396.39 (-0.00)
b26c83 132.02 (-0.00) 133.06 (+0.00) 132.92 (+0.00) 398.00 (+0.00)
9d714a 132.67 (+0.01) 132.81 (+0.00) 132.40 (+0.01) 397.88 (+0.01)
6efea4 131.41 (-0.00) 132.51 (+0.01) 131.58 (-0.01) 395.49 (-0.00)
4071ff 131.97 (-0.00) 131.58 (-0.01) 132.67 (+0.00) 396.23 (-0.00)
4071ff 132.45 (+0.01) 132.91 (+0.01) 132.13 (+0.00) 397.49 (+0.01)
870ba4 131.36 (-0.00) 131.01 (-0.01) 131.55 (-0.01) 393.92 (-0.00)
f5ca89 131.73 (-0.01) 131.68 (-0.01) 132.39 (-0.00) 395.81 (-0.01)
8bd565 133.15 (+0.00) 133.13 (-0.01) 132.77 (+0.00) 399.05 (-0.00)
dd22c8 132.84 (-0.01) 134.40 (+0.01) 132.46 (-0.01) 399.71 (-0.00)
299db9 134.31 (+0.02) 133.71 (+0.01) 133.66 (+0.01) 401.69 (+0.02)
93f3f4 131.98 (-0.00) 131.79 (-0.00) 131.72 (-0.00) 395.50 (-0.00)
f6e2e0 132.10 (-0.00) 131.95 (-0.00) 132.20 (-0.00) 396.25 (-0.00)
f6e2e0 132.62 (-0.00) 132.57 (-0.00) 132.39 (-0.00) 397.58 (-0.00)
f6e2e0 133.04 (+0.00) 132.78 (+0.00) 132.66 (-0.00) 398.49 (+0.00)
f1d960 132.85 (-0.01) 132.18 (-0.00) 132.90 (-0.00) 397.94 (-0.01)
4a9279 134.05 (+0.01) 132.70 (-0.00) 133.44 (+0.01) 400.20 (+0.01)
2e4bf7 132.62 (-0.00) 132.80 (+0.00) 132.06 (-0.00) 397.47 (-0.00)
ce8fbb 132.84 (+0.00) 132.38 (+0.00) 132.66 (+0.00) 397.88 (+0.00)
ce8fbb 132.78 (+0.00) 131.84 (-0.00) 132.64 (+0.00) 397.27 (+0.00)
ce8fbb 132.58 (-0.00) 132.21 (-0.02) 132.32 (-0.00) 397.12 (-0.01)
d1a0f2 132.62 (-0.00) 134.31 (+0.01) 132.50 (-0.01) 399.44 (-0.00)
ccf92d 132.92 (-0.01) 132.60 (+0.00) 134.22 (+0.01) 399.74 (+0.00)
02b8e0 133.77 (+0.00) 132.22 (-0.01) 133.50 (+0.00) 399.49 (-0.00)
7b9057 133.46 (+0.01) 133.00 (+0.00) 133.33 (+0.00) 399.80 (+0.00)
9cada8 132.62 (-0.01) 132.67 (+0.00) 132.91 (+0.01) 398.20 (-0.00)
9cada8 134.51 (+0.01) 132.10 (+0.01) 131.62 (+0.00) 398.23 (+0.01)
9cada8 132.56 (-0.00) 131.20 (-0.01) 131.55 (-0.01) 395.32 (-0.01)
a60f68 132.88 (-0.01) 132.79 (-0.00) 132.90 (+0.01) 398.57 (-0.00)
d19c52 133.64 (+0.00) 132.83 (+0.00) 132.18 (-0.01) 398.65 (-0.00)
000eb1 133.02 (+0.02) 132.36 (+0.00) 133.51 (+0.01) 398.88 (+0.01)
000eb1 130.86 (-0.01) 131.99 (-0.02) 131.77 (+0.00) 394.62 (-0.01)
f51b48 131.97 (-0.02) 134.03 (-0.01) 131.65 (-0.01) 397.66 (-0.01)
f51b48 134.65 (+0.01) 135.05 (+0.01) 132.67 (-0.00) 402.37 (+0.01)
f51b48 132.81 (+0.00) 133.11 (+0.00) 132.90 (-0.00) 398.82 (-0.00)
9f906f 132.63 (-0.02) 132.80 (-0.02) 133.40 (-0.01) 398.83 (-0.01)
0692ff 135.00 (+0.02) 135.06 (+0.00) 134.26 (+0.01) 404.32 (+0.01)
2caece 132.60 (+0.01) 134.50 (+0.03) 133.56 (+0.02) 400.67 (+0.02)
bc7d3c 131.74 (+0.01) 130.96 (-0.01) 131.39 (+0.00) 394.10 (+0.00)
2153d2 130.93 (-0.01) 131.74 (-0.01) 130.94 (-0.00) 393.61 (-0.01)
2153d2 132.54 (+0.01) 132.59 (-0.00) 131.48 (+0.01) 396.61 (+0.01)
2153d2 131.19 (-0.01) 132.61 (+0.00) 130.15 (-0.02) 393.95 (-0.01)
a1b062 132.85 (+0.01) 132.49 (+0.01) 132.33 (-0.00) 397.67 (+0.00)
1d9d7c 132.18 (+0.00) 131.83 (-0.01) 132.91 (+0.01) 396.92 (-0.00)
3569c1 132.13 (+0.01) 133.79 (+0.02) 132.24 (+0.01) 398.17 (+0.01)
eaff14 131.23 (+0.00) 131.47 (+0.00) 131.32 (+0.00) 394.02 (+0.00)
f383b4 130.68 (+0.00) 131.04 (+0.01) 131.25 (+0.00) 392.97 (+0.01)
f383b4 130.21 (-0.01) 130.10 (+0.00) 130.67 (-0.00) 390.98 (-0.00)
f383b4 131.41 (+0.01) 129.92 (-0.01) 130.69 (-0.00) 392.02 (-0.00)
a4256b 130.55 (-0.01) 130.69 (-0.01) 130.80 (-0.01) 392.05 (-0.01)
371493 131.95 (+0.00) 131.48 (-0.00) 131.75 (+0.01) 395.18 (+0.01)
c5c143 131.33 (+0.00) 131.78 (-0.00) 129.93 (-0.02) 393.04 (-0.00)
58fa4f 130.97 (+0.00) 131.86 (+0.00) 132.03 (+0.01) 394.87 (+0.00)
121d53 130.79 (-0.00) 131.45 (+0.01) 131.36 (+0.00) 393.59 (+0.00)
121d53 130.98 (+0.01) 130.06 (-0.01) 131.21 (+0.01) 392.25 (+0.00)
ec3a3a 129.85 (-0.01) 131.45 (+0.01) 130.52 (+0.00) 391.82 (-0.00)
96e783 131.54 (+0.00) 130.43 (-0.01) 130.17 (-0.00) 392.15 (-0.01)
567b71 131.48 (+0.00) 132.05 (+0.00) 130.82 (+0.00) 394.35 (+0.00)
847fc5 130.97 (-0.00) 131.46 (-0.00) 130.37 (-0.00) 392.80 (-0.00)
5e08b3 131.08 (-0.00) 131.98 (+0.01) 130.55 (-0.01) 393.62 (+0.00)
4d291d 131.25 (-0.00) 130.66 (-0.00) 131.67 (+0.00) 393.58 (-0.00)
4d291d 131.49 (-0.01) 131.26 (+0.00) 131.30 (-0.00) 394.06 (-0.00)
bf63f1 132.49 (+0.01) 131.20 (-0.00) 131.79 (+0.00) 395.48 (+0.00)
0a0958 131.56 (+0.01) 131.34 (+0.01) 131.58 (+0.01) 394.48 (+0.01)
aabca5 130.58 (+0.01) 130.20 (+0.00) 130.82 (+0.01) 391.61 (+0.01)
a4be54 128.91 (-0.01) 129.84 (-0.01) 129.26 (-0.01) 388.00 (-0.01)
a3d7ad 130.70 (-0.00) 131.09 (-0.00) 131.03 (+0.00) 392.82 (-0.00)
a3d7ad 131.07 (-0.00) 131.69 (+0.01) 130.80 (-0.00) 393.57 (+0.00)
8ba169 131.26 (+0.00) 130.70 (+0.01) 130.93 (+0.01) 392.89 (+0.01)
e5cc2f 130.75 (-0.00) 129.98 (-0.01) 130.04 (-0.01) 390.77 (-0.01)
c6b56d 131.16 (+0.01) 131.13 (+0.00) 131.15 (+0.01) 393.44 (+0.01)
e067cd 130.01 (+0.01) 130.91 (+0.02) 130.16 (+0.01) 391.08 (+0.01)
bce423 128.52 (-0.01) 128.85 (-0.01) 129.19 (-0.01) 386.55 (-0.01)
bce423 129.90 (+0.02) 130.36 (+0.01) 130.27 (+0.01) 390.53 (+0.01)
c28bfd 127.75 (-0.03) 128.50 (-0.03) 129.15 (-0.02) 385.39 (-0.02)
95bf19 131.32 (-0.00) 132.07 (+0.00) 131.59 (-0.00) 394.98 (-0.00)
95bf19 131.49 (+0.01) 132.06 (+0.02) 131.82 (+0.01) 395.37 (+0.01)
080752 129.87 (-0.00) 130.10 (-0.01) 130.39 (-0.01) 390.36 (-0.01)
23d5e2 130.44 (+0.01) 131.24 (+0.01) 131.98 (+0.01) 393.67 (+0.01)
23d5e2 129.67 (-0.01) 129.77 (-0.01) 130.40 (-0.00) 389.84 (-0.01)
8b710b 130.35 (+0.00) 130.91 (-0.00) 131.00 (-0.00) 392.25 (-0.00)
8c6e60 130.21 (-0.00) 131.07 (+0.01) 131.02 (+0.00) 392.31 (+0.00)
10dae7 130.71 (+0.01) 129.86 (-0.01) 130.59 (+0.00) 391.16 (-0.00)
4c4d3d 129.77 (-0.01) 131.16 (-0.00) 130.42 (-0.01) 391.35 (-0.01)
9f94d0 131.71 (+0.00) 131.53 (-0.00) 131.12 (-0.00) 394.36 (+0.00)
9f94d0 131.51 (-0.00) 131.59 (+0.00) 131.23 (-0.01) 394.34 (-0.00)
9f94d0 132.05 (+0.01) 131.33 (+0.00) 132.35 (+0.02) 395.73 (+0.01)
c700c7 130.81 (-0.01) 130.97 (-0.01) 130.02 (-0.02) 391.80 (-0.01)
42c6dd 132.22 (+0.01) 131.93 (+0.01) 132.33 (+0.01) 396.48 (+0.01)
f6bf7b 130.91 (+0.02) 131.14 (+0.01) 131.22 (+0.01) 393.27 (+0.01)
1137b5 128.74 (-0.02) 129.66 (-0.02) 129.39 (-0.02) 387.78 (-0.02)
1468c6 131.39 (-0.00) 132.12 (+0.01) 131.71 (+0.00) 395.23 (+0.00)
1468c6 131.62 (-0.00) 131.38 (-0.00) 131.10 (-0.01) 394.11 (-0.00)
c01f92 131.90 (+0.01) 131.97 (+0.00) 131.77 (-0.00) 395.64 (+0.00)
7ff591 131.07 (-0.01) 131.35 (-0.01) 131.78 (+0.00) 394.21 (-0.00)
5d4774 131.89 (+0.00) 132.10 (+0.01) 131.73 (+0.00) 395.72 (+0.00)
56d8c2 131.59 (+0.02) 131.26 (+0.02) 131.36 (+0.02) 394.21 (+0.02)
12e6f4 129.15 (-0.01) 128.40 (-0.01) 129.17 (-0.01) 386.72 (-0.01)
12e6f4 130.85 (-0.00) 129.97 (-0.01) 130.20 (-0.00) 391.02 (-0.00)
61194a 131.30 (+0.01) 130.75 (+0.00) 130.66 (-0.01) 392.72 (+0.00)
70ce01 129.88 (-0.02) 130.24 (-0.02) 131.45 (-0.01) 391.57 (-0.01)
c04c20 132.66 (+0.00) 132.44 (-0.01) 132.35 (+0.00) 397.45 (-0.00)
827ee1 132.42 (+0.01) 133.61 (+0.02) 131.97 (-0.00) 398.01 (+0.01)
22ae67 130.88 (-0.01) 130.80 (-0.01) 132.45 (+0.00) 394.14 (-0.01)
0f4458 132.84 (+0.01) 132.38 (+0.01) 131.80 (+0.00) 397.02 (+0.01)
0f4458 130.95 (+0.00) 131.18 (-0.01) 131.62 (-0.01) 393.76 (-0.00)
0f4458 130.59 (-0.01) 132.18 (-0.00) 132.39 (+0.00) 395.17 (-0.00)
b8a566 132.35 (+0.01) 132.53 (+0.00) 132.05 (-0.00) 396.93 (+0.00)
b8a566 131.64 (+0.06) 132.48 (+0.06) 132.16 (+0.04) 396.28 (+0.05)
9747e9 124.68 (-0.03) 124.91 (-0.03) 127.07 (-0.02) 376.66 (-0.02)
b50e07 128.54 (-0.00) 128.45 (-0.01) 129.30 (-0.00) 386.28 (-0.00)
6a57d5 129.00 (-0.02) 129.34 (-0.01) 129.35 (-0.01) 387.69 (-0.01)
c0480f 131.02 (+0.03) 131.25 (+0.02) 131.22 (+0.02) 393.49 (+0.03)
4f443c 126.99 (-0.01) 128.54 (-0.01) 128.12 (-0.01) 383.64 (-0.01)
4f443c 128.65 (-0.01) 130.14 (+0.00) 129.03 (-0.01) 387.82 (-0.00)
788823 129.48 (-0.01) 130.09 (+0.00) 130.16 (-0.01) 389.74 (-0.01)
c21104 130.56 (+0.01) 130.01 (+0.00) 131.24 (+0.02) 391.81 (+0.01)
b9544a 129.85 (-0.01) 129.74 (-0.00) 129.09 (-0.01) 388.68 (-0.01)
33834c 131.43 (+0.01) 130.18 (-0.00) 130.55 (-0.00) 392.17 (+0.00)
521667 130.59 (-0.01) 130.76 (+0.00) 130.68 (-0.00) 392.04 (-0.00)
361648 131.35 (-0.00) 130.27 (-0.01) 131.30 (-0.01) 392.92 (-0.01)
fc0629 131.94 131.10 132.19 395.23

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query35]

platform: rds-postgres

revision Q35/1 Q35/2 Q35/3 total_duration
41aa62 58.88 (-0.00) 59.15 (-0.00) 58.59 (-0.01) 176.62 (-0.01)
7b5489 59.02 (-0.00) 59.24 (+0.00) 59.26 (+0.00) 177.52 (+0.00)
a23b07 59.03 (-0.01) 59.16 (-0.01) 59.16 (-0.01) 177.35 (-0.01)
cc2d00 59.38 (+0.01) 59.75 (+0.02) 59.67 (+0.02) 178.80 (+0.02)
ba9df2 58.53 (+0.00) 58.39 (-0.00) 58.60 (-0.00) 175.52 (-0.00)
a8f354 58.42 (-0.02) 58.64 (-0.01) 58.64 (-0.01) 175.71 (-0.01)
7feb0d 59.47 (+0.02) 59.11 (+0.02) 59.23 (+0.02) 177.81 (+0.02)
982fce 58.18 (-0.00) 58.21 (-0.01) 58.16 (-0.00) 174.55 (-0.01)
1f151d 58.21 (-0.01) 58.84 (+0.01) 58.44 (+0.01) 175.48 (+0.00)
ff1a1a 58.80 (+0.01) 58.10 (-0.01) 58.05 (-0.00) 174.95 (+0.00)
b1477b 58.17 (-0.01) 58.50 (-0.01) 58.17 (-0.00) 174.85 (-0.01)
1b947f 59.02 (-0.00) 58.85 (+0.02) 58.41 (+0.01) 176.28 (+0.01)
a21b55 59.08 (+0.01) 57.82 (-0.01) 58.06 (-0.01) 174.96 (-0.00)
4ba950 58.31 (+0.00) 58.31 (+0.01) 58.72 (+0.01) 175.35 (+0.01)
4e359d 58.20 (-0.01) 57.76 (-0.02) 57.94 (-0.02) 173.90 (-0.02)
3837fc 59.06 (+0.00) 59.19 (+0.01) 59.06 (+0.01) 177.32 (+0.01)
edcf4d 59.04 (+0.01) 58.45 (-0.00) 58.45 (-0.01) 175.93 (-0.00)
411c71 58.56 (-0.00) 58.62 (-0.00) 58.76 (+0.00) 175.94 (-0.00)
854348 58.73 (+0.01) 58.70 (+0.01) 58.54 (+0.01) 175.97 (+0.01)
7ba5c2 58.07 (-0.00) 58.12 (-0.01) 58.16 (-0.00) 174.36 (-0.00)
ebea29 58.26 (+0.00) 58.57 (+0.01) 58.40 (+0.01) 175.23 (+0.01)
22c890 58.06 (-0.01) 58.05 (-0.02) 57.78 (-0.01) 173.89 (-0.01)
f0b2e0 58.55 (-0.00) 59.12 (+0.01) 58.58 (-0.00) 176.26 (+0.00)
dec580 58.59 (+0.00) 58.68 (+0.00) 58.87 (+0.00) 176.15 (+0.00)
dec580 58.50 (-0.02) 58.58 (-0.03) 58.85 (-0.01) 175.92 (-0.02)
b1c2a6 59.42 (-0.00) 60.11 (+0.02) 59.58 (+0.00) 179.11 (+0.01)
931094 59.53 (-0.00) 59.17 (-0.01) 59.32 (-0.01) 178.03 (-0.01)
957acb 59.68 (+0.00) 59.73 (+0.00) 59.72 (-0.00) 179.13 (+0.00)
846532 59.54 (+0.00) 59.52 (+0.00) 59.87 (+0.01) 178.93 (+0.01)
d733bc 59.39 (-0.01) 59.41 (-0.01) 59.16 (-0.01) 177.96 (-0.01)
75ffe3 59.90 (+0.01) 59.90 (+0.02) 59.93 (+0.02) 179.73 (+0.01)
75ffe3 59.39 (+0.01) 58.99 (-0.00) 59.03 (+0.01) 177.41 (+0.01)
bf4623 58.68 (-0.01) 59.17 (-0.01) 58.66 (-0.01) 176.52 (-0.01)
b26c83 59.29 (+0.01) 59.72 (+0.01) 59.14 (-0.00) 178.16 (+0.01)
9d714a 58.97 (+0.01) 59.05 (+0.00) 59.16 (+0.01) 177.18 (+0.01)
6efea4 58.62 (+0.00) 59.02 (+0.01) 58.44 (+0.00) 176.08 (+0.00)
4071ff 58.56 (-0.01) 58.52 (-0.02) 58.18 (-0.01) 175.27 (-0.01)
4071ff 59.07 (+0.00) 59.66 (+0.01) 58.93 (-0.01) 177.67 (+0.00)
870ba4 58.92 (-0.01) 58.78 (-0.01) 59.29 (-0.01) 176.99 (-0.01)
f5ca89 59.24 (-0.01) 59.25 (-0.01) 59.86 (+0.00) 178.35 (-0.00)
8bd565 59.62 (+0.01) 59.70 (+0.02) 59.72 (+0.02) 179.04 (+0.02)
dd22c8 59.03 (-0.01) 58.68 (-0.02) 58.59 (-0.01) 176.30 (-0.01)
299db9 59.63 (+0.01) 59.60 (+0.02) 59.44 (+0.02) 178.68 (+0.02)
93f3f4 58.85 (+0.01) 58.56 (-0.00) 58.24 (-0.01) 175.66 (-0.00)
f6e2e0 58.55 (-0.01) 58.69 (+0.00) 58.57 (-0.00) 175.80 (-0.00)
f6e2e0 58.89 (-0.01) 58.63 (-0.02) 58.66 (-0.02) 176.19 (-0.01)
f6e2e0 59.46 (+0.01) 59.75 (+0.00) 59.59 (+0.00) 178.80 (+0.00)
f1d960 59.12 (-0.01) 59.55 (-0.00) 59.30 (-0.01) 177.97 (-0.01)
4a9279 59.70 (-0.01) 59.69 (+0.02) 59.69 (+0.02) 179.08 (+0.01)
2e4bf7 60.22 (+0.02) 58.63 (-0.01) 58.67 (-0.01) 177.52 (+0.00)
ce8fbb 59.19 (+0.01) 59.25 (+0.01) 59.07 (+0.01) 177.52 (+0.01)
ce8fbb 58.88 (-0.00) 58.79 (-0.00) 58.55 (-0.01) 176.21 (-0.00)
ce8fbb 58.98 (-0.02) 58.81 (-0.01) 58.90 (-0.01) 176.69 (-0.01)
d1a0f2 59.94 (+0.01) 59.31 (-0.00) 59.27 (-0.00) 178.53 (+0.00)
ccf92d 59.36 (+0.00) 59.52 (+0.01) 59.30 (+0.01) 178.18 (+0.00)
02b8e0 59.22 (-0.01) 59.11 (-0.01) 58.98 (-0.01) 177.31 (-0.01)
7b9057 59.69 (+0.01) 59.49 (-0.00) 59.49 (+0.00) 178.67 (+0.00)
9cada8 59.35 (-0.01) 59.63 (-0.00) 59.25 (-0.01) 178.24 (-0.01)
9cada8 60.03 (-0.02) 59.75 (+0.01) 59.77 (+0.01) 179.54 (-0.00)
9cada8 61.36 (+0.03) 59.40 (-0.00) 59.06 (-0.01) 179.83 (+0.01)
a60f68 59.71 (+0.01) 59.53 (+0.02) 59.48 (+0.01) 178.71 (+0.01)
d19c52 58.98 (-0.00) 58.56 (-0.01) 59.04 (+0.01) 176.58 (-0.00)
000eb1 59.08 (-0.01) 59.01 (-0.00) 58.67 (-0.01) 176.76 (-0.01)
000eb1 59.95 (-0.01) 59.12 (-0.01) 59.39 (-0.00) 178.46 (-0.01)
f51b48 60.51 (+0.01) 59.64 (+0.01) 59.66 (+0.01) 179.82 (+0.01)
f51b48 59.84 (+0.02) 59.25 (+0.00) 58.80 (+0.00) 177.90 (+0.01)
f51b48 58.42 (-0.01) 59.16 (+0.01) 58.65 (-0.01) 176.23 (-0.00)
9f906f 58.73 (-0.01) 58.73 (-0.01) 59.30 (-0.01) 176.76 (-0.01)
0692ff 59.44 (+0.01) 59.62 (+0.02) 59.85 (+0.02) 178.92 (+0.01)
2caece 59.12 (+0.02) 58.66 (+0.00) 58.78 (+0.00) 176.56 (+0.01)
bc7d3c 58.04 (-0.02) 58.55 (-0.03) 58.49 (-0.01) 175.08 (-0.02)
2153d2 59.17 (+0.01) 60.05 (+0.02) 59.31 (+0.00) 178.54 (+0.01)
2153d2 58.42 (-0.02) 58.74 (-0.00) 59.14 (+0.00) 176.30 (-0.01)
2153d2 59.45 (+0.00) 58.95 (-0.01) 58.89 (-0.01) 177.29 (-0.01)
a1b062 59.27 (+0.00) 59.40 (+0.00) 59.54 (+0.01) 178.21 (+0.00)
1d9d7c 59.10 (-0.02) 59.11 (-0.01) 59.18 (-0.01) 177.39 (-0.01)
3569c1 60.22 (+0.02) 59.90 (+0.01) 59.81 (-0.00) 179.93 (+0.01)
eaff14 59.29 (-0.00) 59.44 (-0.00) 59.92 (-0.00) 178.66 (-0.00)
f383b4 59.30 (+0.01) 59.57 (+0.02) 60.03 (+0.02) 178.89 (+0.02)
f383b4 58.45 (-0.01) 58.51 (-0.01) 58.58 (-0.00) 175.54 (-0.01)
f383b4 58.80 (-0.00) 58.89 (+0.00) 58.77 (-0.00) 176.47 (+0.00)
a4256b 58.94 (+0.00) 58.67 (+0.00) 58.81 (+0.01) 176.42 (+0.00)
371493 58.65 (+0.01) 58.59 (+0.01) 58.48 (+0.01) 175.72 (+0.01)
c5c143 58.06 (-0.00) 58.23 (-0.00) 57.62 (-0.01) 173.90 (-0.00)
58fa4f 58.14 (+0.01) 58.29 (+0.00) 58.15 (+0.00) 174.59 (+0.00)
121d53 57.80 (-0.01) 58.03 (-0.01) 58.05 (-0.01) 173.88 (-0.01)
121d53 58.29 (+0.01) 58.43 (+0.01) 58.51 (+0.01) 175.23 (+0.01)
ec3a3a 57.54 (-0.01) 57.60 (-0.00) 57.89 (+0.00) 173.04 (-0.00)
96e783 58.39 (+0.01) 57.67 (-0.02) 57.80 (-0.01) 173.86 (-0.01)
567b71 58.02 (+0.01) 58.84 (+0.02) 58.29 (+0.00) 175.15 (+0.01)
847fc5 57.63 (+0.00) 57.71 (+0.00) 58.27 (+0.00) 173.61 (+0.00)
5e08b3 57.60 (+0.00) 57.49 (-0.00) 58.00 (+0.01) 173.10 (+0.00)
4d291d 57.34 (-0.01) 57.59 (-0.01) 57.42 (-0.01) 172.36 (-0.01)
4d291d 58.12 (-0.02) 58.22 (-0.01) 58.04 (-0.01) 174.39 (-0.01)
bf63f1 59.12 (+0.01) 58.67 (-0.00) 58.51 (-0.00) 176.29 (+0.00)
0a0958 58.73 (+0.01) 58.93 (+0.03) 58.59 (+0.02) 176.25 (+0.02)
aabca5 57.98 (+0.03) 57.39 (+0.01) 57.44 (+0.02) 172.81 (+0.02)
a4be54 56.37 (-0.03) 56.61 (-0.03) 56.29 (-0.03) 169.28 (-0.03)
a3d7ad 57.83 (-0.01) 58.16 (-0.01) 58.12 (-0.01) 174.10 (-0.01)
a3d7ad 58.57 (+0.01) 58.97 (+0.02) 58.43 (+0.01) 175.97 (+0.02)
8ba169 57.75 (+0.01) 57.75 (+0.01) 57.87 (+0.02) 173.37 (+0.01)
e5cc2f 57.07 (-0.02) 57.00 (-0.02) 56.91 (-0.02) 170.98 (-0.02)
c6b56d 58.39 (+0.02) 58.30 (+0.01) 58.13 (+0.00) 174.82 (+0.01)
e067cd 57.45 (+0.00) 57.67 (+0.01) 58.00 (+0.02) 173.12 (+0.01)
bce423 57.28 (-0.01) 57.01 (-0.02) 56.89 (-0.03) 171.19 (-0.02)
bce423 58.15 (+0.04) 58.42 (+0.03) 58.84 (+0.05) 175.41 (+0.04)
c28bfd 55.99 (-0.05) 56.61 (-0.04) 55.83 (-0.05) 168.44 (-0.05)
95bf19 59.15 (+0.01) 58.72 (+0.00) 58.81 (-0.01) 176.67 (+0.00)
95bf19 58.50 (+0.01) 58.61 (+0.02) 59.21 (+0.03) 176.33 (+0.02)
080752 57.88 (-0.01) 57.24 (-0.03) 57.26 (-0.03) 172.37 (-0.02)
23d5e2 58.72 (+0.01) 59.13 (+0.01) 58.82 (+0.00) 176.68 (+0.01)
23d5e2 58.23 (+0.00) 58.49 (+0.01) 58.54 (-0.00) 175.25 (+0.00)
8b710b 58.15 (+0.01) 58.15 (+0.00) 58.83 (+0.00) 175.13 (+0.00)
8c6e60 57.69 (-0.01) 58.01 (-0.00) 58.58 (+0.01) 174.29 (-0.00)
10dae7 58.46 (+0.01) 58.20 (-0.00) 58.22 (+0.00) 174.88 (+0.00)
4c4d3d 57.91 (-0.01) 58.25 (-0.01) 58.15 (-0.02) 174.31 (-0.01)
9f94d0 58.63 (-0.01) 58.73 (+0.00) 59.16 (+0.01) 176.52 (+0.00)
9f94d0 58.98 (+0.00) 58.53 (-0.00) 58.53 (+0.00) 176.04 (+0.00)
9f94d0 58.70 (+0.01) 58.71 (+0.02) 58.49 (+0.01) 175.89 (+0.01)
c700c7 58.27 (-0.01) 57.75 (-0.02) 57.91 (-0.02) 173.93 (-0.02)
42c6dd 58.84 (+0.01) 59.17 (+0.01) 59.23 (+0.02) 177.24 (+0.01)
f6bf7b 58.29 (+0.03) 58.52 (+0.03) 57.87 (+0.02) 174.67 (+0.03)
1137b5 56.57 (-0.05) 56.56 (-0.04) 56.92 (-0.04) 170.05 (-0.04)
1468c6 59.59 (+0.01) 59.05 (+0.01) 59.21 (+0.01) 177.85 (+0.01)
1468c6 59.18 (+0.01) 58.66 (-0.00) 58.67 (-0.01) 176.51 (-0.00)
c01f92 58.81 (+0.02) 58.90 (+0.02) 59.03 (+0.01) 176.73 (+0.02)
7ff591 57.88 (-0.02) 57.80 (-0.02) 58.23 (-0.01) 173.91 (-0.02)
5d4774 58.87 (+0.00) 58.87 (+0.00) 58.91 (+0.00) 176.65 (+0.00)
56d8c2 58.75 (+0.03) 58.84 (+0.03) 58.62 (+0.03) 176.21 (+0.03)
12e6f4 57.19 (-0.02) 57.21 (-0.02) 56.89 (-0.02) 171.29 (-0.02)
12e6f4 58.31 (-0.02) 58.59 (-0.01) 58.33 (-0.02) 175.24 (-0.02)
61194a 59.29 (+0.03) 59.40 (+0.03) 59.24 (+0.03) 177.94 (+0.03)
70ce01 57.77 (-0.03) 57.80 (-0.03) 57.61 (-0.03) 173.18 (-0.03)
c04c20 59.44 (-0.00) 59.58 (-0.01) 59.38 (-0.01) 178.40 (-0.01)
827ee1 59.57 (+0.02) 60.24 (+0.03) 59.70 (+0.02) 179.52 (+0.03)
22ae67 58.15 (-0.02) 58.37 (-0.02) 58.47 (-0.03) 174.99 (-0.02)
0f4458 59.36 (-0.01) 59.58 (+0.00) 60.17 (+0.01) 179.10 (+0.00)
0f4458 60.07 (+0.01) 59.44 (-0.01) 59.44 (-0.00) 178.95 (+0.00)
0f4458 59.33 (-0.01) 59.90 (+0.00) 59.50 (-0.00) 178.74 (-0.00)
b8a566 60.09 (+0.01) 59.73 (+0.00) 59.64 (-0.01) 179.46 (+0.00)
b8a566 59.48 (+0.10) 59.54 (+0.10) 60.14 (+0.12) 179.16 (+0.11)
9747e9 54.28 (-0.04) 54.12 (-0.04) 53.69 (-0.04) 162.09 (-0.04)
b50e07 56.48 (-0.02) 56.20 (-0.03) 56.20 (-0.03) 168.89 (-0.03)
6a57d5 57.78 (-0.02) 57.76 (-0.02) 58.22 (-0.02) 173.75 (-0.02)
c0480f 58.78 (+0.04) 58.90 (+0.04) 59.44 (+0.05) 177.13 (+0.04)
4f443c 56.64 (-0.00) 56.71 (-0.01) 56.74 (+0.00) 170.10 (-0.00)
4f443c 56.90 (-0.02) 57.41 (-0.01) 56.59 (-0.03) 170.90 (-0.02)
788823 57.87 (-0.01) 57.86 (-0.02) 58.12 (-0.01) 173.85 (-0.01)
c21104 58.66 (+0.01) 58.87 (+0.02) 58.67 (+0.02) 176.20 (+0.02)
b9544a 58.24 (+0.01) 57.54 (-0.00) 57.58 (-0.01) 173.36 (-0.00)
33834c 57.94 (-0.01) 57.72 (-0.01) 58.03 (+0.00) 173.69 (-0.01)
521667 58.59 (+0.02) 58.08 (+0.01) 58.01 (+0.01) 174.68 (+0.01)
361648 57.41 (-0.01) 57.47 (-0.01) 57.40 (-0.01) 172.28 (-0.01)
fc0629 57.79 57.95 57.70 173.45

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query36]

platform: rds-postgres

revision Q36/1 Q36/2 Q36/3 total_duration
41aa62 9.14 (+0.04) 8.49 (+0.03) 8.46 (+0.02) 26.10 (+0.03)
7b5489 8.83 (-0.04) 8.23 (-0.03) 8.30 (-0.06) 25.36 (-0.04)
a23b07 9.20 (+0.00) 8.46 (-0.00) 8.80 (+0.05) 26.46 (+0.01)
cc2d00 9.19 (-0.01) 8.49 (-0.00) 8.39 (-0.01) 26.08 (-0.01)
ba9df2 9.24 (-0.10) 8.49 (+0.02) 8.51 (+0.02) 26.25 (-0.03)
a8f354 10.22 (+0.08) 8.35 (-0.03) 8.36 (+0.01) 26.93 (+0.02)
7feb0d 9.44 (-0.00) 8.57 (+0.00) 8.30 (-0.01) 26.31 (-0.00)
982fce 9.45 (+0.02) 8.57 (+0.01) 8.41 (-0.00) 26.42 (+0.01)
1f151d 9.26 (+0.00) 8.52 (+0.02) 8.44 (-0.00) 26.22 (+0.00)
ff1a1a 9.25 (-0.00) 8.39 (-0.01) 8.46 (-0.02) 26.10 (-0.01)
b1477b 9.27 (-0.03) 8.49 (-0.01) 8.64 (+0.03) 26.41 (-0.00)
1b947f 9.53 (+0.00) 8.57 (-0.00) 8.40 (-0.01) 26.50 (-0.00)
a21b55 9.51 (+0.02) 8.59 (-0.01) 8.47 (+0.00) 26.57 (+0.01)
4ba950 9.28 (-0.01) 8.71 (-0.01) 8.43 (-0.00) 26.42 (-0.01)
4e359d 9.33 (-0.05) 8.84 (+0.04) 8.45 (+0.01) 26.62 (-0.00)
3837fc 9.79 (+0.09) 8.53 (+0.00) 8.37 (-0.04) 26.70 (+0.02)
edcf4d 8.99 (-0.03) 8.51 (-0.03) 8.72 (+0.03) 26.21 (-0.01)
411c71 9.26 (+0.03) 8.73 (+0.01) 8.48 (-0.02) 26.47 (+0.00)
854348 9.02 (-0.00) 8.64 (+0.00) 8.69 (+0.02) 26.35 (+0.01)
7ba5c2 9.05 (+0.07) 8.63 (+0.07) 8.53 (+0.05) 26.21 (+0.06)
ebea29 8.47 (-0.02) 8.08 (+0.00) 8.11 (+0.01) 24.66 (-0.01)
22c890 8.69 (-0.00) 8.08 (+0.01) 8.06 (-0.01) 24.82 (-0.00)
f0b2e0 8.70 (+0.01) 8.00 (-0.03) 8.15 (-0.02) 24.85 (-0.01)
dec580 8.57 (-0.04) 8.24 (+0.01) 8.30 (+0.03) 25.11 (-0.00)
dec580 8.93 (+0.06) 8.19 (+0.00) 8.04 (+0.02) 25.16 (+0.03)
b1c2a6 8.40 (-0.06) 8.17 (+0.02) 7.88 (-0.04) 24.45 (-0.03)
931094 8.90 (-0.04) 8.03 (-0.03) 8.21 (+0.03) 25.14 (-0.01)
957acb 9.25 (+0.03) 8.24 (+0.03) 7.95 (-0.03) 25.45 (+0.01)
846532 8.98 (+0.06) 7.98 (-0.03) 8.18 (+0.04) 25.14 (+0.02)
d733bc 8.47 (-0.04) 8.21 (+0.05) 7.85 (-0.03) 24.54 (-0.01)
75ffe3 8.82 (+0.01) 7.84 (-0.02) 8.12 (+0.01) 24.78 (-0.00)
75ffe3 8.76 (+0.05) 8.00 (-0.00) 8.07 (-0.03) 24.84 (+0.01)
bf4623 8.36 (+0.01) 8.02 (+0.02) 8.30 (+0.02) 24.68 (+0.02)
b26c83 8.27 (-0.01) 7.88 (-0.01) 8.14 (+0.00) 24.29 (-0.01)
9d714a 8.37 (+0.01) 7.99 (-0.01) 8.12 (-0.00) 24.49 (-0.00)
6efea4 8.32 (-0.02) 8.08 (-0.03) 8.13 (-0.01) 24.53 (-0.02)
4071ff 8.45 (+0.06) 8.33 (+0.02) 8.19 (+0.03) 24.97 (+0.04)
4071ff 7.98 (-0.00) 8.15 (-0.01) 7.97 (-0.03) 24.10 (-0.01)
870ba4 8.01 (+0.01) 8.20 (+0.03) 8.19 (+0.01) 24.39 (+0.02)
f5ca89 7.91 (-0.02) 7.98 (-0.03) 8.10 (-0.01) 23.99 (-0.02)
8bd565 8.11 (-0.00) 8.22 (+0.02) 8.22 (+0.03) 24.55 (+0.02)
dd22c8 8.15 (+0.02) 8.03 (-0.01) 7.98 (-0.04) 24.16 (-0.01)
299db9 7.97 (-0.03) 8.13 (+0.02) 8.32 (+0.04) 24.42 (+0.01)
93f3f4 8.19 (-0.01) 7.98 (-0.03) 7.98 (+0.01) 24.16 (-0.01)
f6e2e0 8.27 (+0.01) 8.20 (+0.04) 7.91 (-0.02) 24.38 (+0.01)
f6e2e0 8.18 (+0.03) 7.92 (-0.01) 8.10 (-0.00) 24.20 (+0.01)
f6e2e0 7.94 (-0.03) 8.03 (+0.00) 8.10 (+0.01) 24.08 (-0.00)
f1d960 8.19 (-0.01) 8.00 (+0.00) 8.01 (+0.00) 24.20 (-0.00)
4a9279 8.26 (+0.01) 7.98 (-0.00) 7.99 (-0.01) 24.23 (-0.00)
2e4bf7 8.21 (+0.03) 7.99 (+0.00) 8.10 (-0.00) 24.30 (+0.01)
ce8fbb 7.99 (-0.05) 7.98 (-0.01) 8.12 (-0.02) 24.10 (-0.03)
ce8fbb 8.41 (+0.02) 8.02 (-0.00) 8.29 (+0.02) 24.73 (+0.01)
ce8fbb 8.23 (+0.00) 8.03 (+0.01) 8.13 (+0.01) 24.38 (+0.01)
d1a0f2 8.19 (+0.01) 7.92 (-0.04) 8.09 (+0.02) 24.20 (-0.01)
ccf92d 8.15 (+0.00) 8.25 (-0.02) 7.95 (+0.01) 24.35 (-0.00)
02b8e0 8.11 (+0.01) 8.43 (+0.06) 7.86 (-0.03) 24.40 (+0.01)
7b9057 8.05 (+0.01) 7.92 (-0.03) 8.08 (-0.03) 24.05 (-0.02)
9cada8 8.00 (-0.01) 8.15 (+0.04) 8.32 (+0.04) 24.48 (+0.02)
9cada8 8.10 (+0.02) 7.81 (-0.01) 7.98 (-0.01) 23.89 (-0.00)
9cada8 7.98 (-0.03) 7.92 (-0.03) 8.05 (-0.03) 23.95 (-0.03)
a60f68 8.21 (-0.02) 8.17 (+0.02) 8.33 (+0.05) 24.71 (+0.02)
d19c52 8.36 (+0.00) 8.01 (+0.00) 7.97 (-0.01) 24.34 (-0.00)
000eb1 8.32 (+0.05) 7.99 (-0.00) 8.07 (+0.03) 24.38 (+0.02)
000eb1 7.91 (-0.03) 8.03 (-0.01) 7.86 (-0.01) 23.79 (-0.02)
f51b48 8.14 (+0.04) 8.08 (+0.01) 7.95 (+0.01) 24.17 (+0.02)
f51b48 7.82 (-0.01) 7.99 (+0.00) 7.86 (-0.01) 23.67 (-0.01)
f51b48 7.89 (-0.00) 7.97 (-0.01) 7.93 (-0.01) 23.80 (-0.01)
9f906f 7.90 (-0.04) 8.06 (-0.02) 7.98 (-0.00) 23.94 (-0.02)
0692ff 8.22 (+0.03) 8.24 (+0.05) 7.99 (-0.02) 24.45 (+0.02)
2caece 8.01 (-0.01) 7.88 (-0.04) 8.12 (+0.01) 24.02 (-0.01)
bc7d3c 8.06 (+0.01) 8.18 (+0.03) 8.04 (-0.02) 24.29 (+0.00)
2153d2 8.02 (-0.03) 7.97 (+0.00) 8.20 (-0.00) 24.19 (-0.01)
2153d2 8.23 (+0.00) 7.93 (+0.01) 8.23 (+0.02) 24.40 (+0.01)
2153d2 8.20 (+0.00) 7.83 (-0.03) 8.07 (-0.01) 24.10 (-0.01)
a1b062 8.20 (+0.02) 8.03 (-0.03) 8.18 (+0.04) 24.42 (+0.01)
1d9d7c 8.08 (+0.01) 8.29 (+0.02) 7.89 (-0.00) 24.26 (+0.01)
3569c1 7.99 (-0.04) 8.16 (+0.04) 7.92 (-0.02) 24.06 (-0.01)
eaff14 8.33 (+0.06) 7.84 (-0.03) 8.12 (+0.04) 24.29 (+0.02)
f383b4 7.89 (+0.00) 8.11 (+0.01) 7.78 (-0.03) 23.78 (-0.01)
f383b4 7.86 (-0.00) 8.00 (+0.00) 8.03 (+0.04) 23.90 (+0.01)
f383b4 7.88 (-0.02) 7.96 (+0.01) 7.73 (-0.03) 23.57 (-0.01)
a4256b 8.03 (-0.01) 7.85 (-0.01) 7.96 (-0.02) 23.84 (-0.02)
371493 8.13 (+0.01) 7.96 (-0.01) 8.15 (+0.03) 24.24 (+0.01)
c5c143 8.09 (+0.01) 8.06 (+0.01) 7.88 (-0.03) 24.03 (-0.00)
58fa4f 8.03 (+0.01) 7.96 (-0.03) 8.09 (+0.00) 24.08 (-0.00)
121d53 7.94 (-0.00) 8.19 (+0.04) 8.07 (+0.01) 24.20 (+0.02)
121d53 7.96 (-0.04) 7.86 (-0.02) 7.97 (-0.01) 23.79 (-0.02)
ec3a3a 8.26 (+0.02) 8.04 (+0.02) 8.05 (-0.01) 24.36 (+0.01)
96e783 8.08 (-0.03) 7.88 (-0.03) 8.10 (+0.00) 24.06 (-0.02)
567b71 8.29 (+0.01) 8.11 (+0.03) 8.07 (+0.02) 24.47 (+0.02)
847fc5 8.25 (+0.01) 7.85 (-0.04) 7.90 (-0.03) 24.01 (-0.02)
5e08b3 8.15 (+0.00) 8.21 (-0.01) 8.12 (+0.01) 24.47 (+0.00)
4d291d 8.13 (+0.01) 8.28 (+0.04) 8.03 (-0.00) 24.44 (+0.02)
4d291d 8.03 (-0.00) 7.95 (-0.02) 8.07 (-0.01) 24.05 (-0.01)
bf63f1 8.03 (-0.01) 8.11 (+0.02) 8.12 (+0.02) 24.26 (+0.01)
0a0958 8.11 (+0.01) 7.97 (-0.02) 7.98 (-0.00) 24.06 (-0.00)
aabca5 8.02 (-0.00) 8.11 (-0.00) 7.98 (-0.00) 24.11 (-0.00)
a4be54 8.03 (+0.02) 8.14 (-0.05) 8.02 (+0.00) 24.19 (-0.01)
a3d7ad 7.88 (-0.03) 8.58 (+0.06) 8.01 (-0.02) 24.47 (+0.01)
a3d7ad 8.12 (+0.02) 8.07 (+0.01) 8.15 (+0.03) 24.34 (+0.02)
8ba169 7.99 (-0.00) 7.98 (-0.02) 7.93 (-0.01) 23.90 (-0.01)
e5cc2f 8.01 (-0.01) 8.12 (+0.01) 7.99 (+0.02) 24.13 (+0.00)
c6b56d 8.13 (-0.01) 8.06 (-0.01) 7.83 (-0.01) 24.02 (-0.01)
e067cd 8.20 (+0.04) 8.11 (+0.04) 7.92 (-0.01) 24.24 (+0.03)
bce423 7.88 (-0.01) 7.77 (-0.03) 7.99 (+0.02) 23.64 (-0.01)
bce423 7.93 (-0.01) 8.04 (+0.01) 7.86 (-0.03) 23.83 (-0.01)
c28bfd 7.99 (-0.03) 7.94 (-0.02) 8.14 (+0.02) 24.08 (-0.01)
95bf19 8.22 (+0.01) 8.13 (-0.01) 7.97 (+0.00) 24.33 (+0.00)
95bf19 8.11 (+0.01) 8.20 (+0.02) 7.96 (+0.01) 24.27 (+0.01)
080752 8.06 (+0.02) 8.04 (+0.00) 7.87 (+0.02) 23.96 (+0.01)
23d5e2 7.94 (+0.01) 8.02 (-0.01) 7.73 (-0.03) 23.69 (-0.01)
23d5e2 7.84 (-0.06) 8.14 (+0.02) 8.01 (-0.02) 23.98 (-0.02)
8b710b 8.32 (+0.04) 7.98 (-0.01) 8.14 (-0.01) 24.43 (+0.01)
8c6e60 8.03 (+0.00) 8.07 (+0.01) 8.20 (+0.05) 24.30 (+0.02)
10dae7 8.01 (-0.05) 8.00 (+0.00) 7.78 (-0.03) 23.79 (-0.03)
4c4d3d 8.42 (-0.09) 7.98 (+0.01) 8.00 (-0.01) 24.41 (-0.03)
9f94d0 9.28 (+0.10) 7.93 (+0.02) 8.07 (+0.02) 25.27 (+0.05)
9f94d0 8.40 (+0.01) 7.78 (-0.05) 7.90 (+0.00) 24.08 (-0.01)
9f94d0 8.32 (-0.04) 8.19 (+0.02) 7.88 (-0.00) 24.39 (-0.01)
c700c7 8.67 (-0.02) 8.00 (-0.00) 7.90 (-0.00) 24.57 (-0.01)
42c6dd 8.83 (+0.01) 8.03 (-0.01) 7.93 (-0.00) 24.78 (-0.00)
f6bf7b 8.75 (+0.00) 8.09 (+0.01) 7.96 (-0.04) 24.80 (-0.01)
1137b5 8.72 (+0.00) 8.04 (-0.01) 8.31 (+0.05) 25.06 (+0.01)
1468c6 8.72 (-0.04) 8.09 (+0.01) 7.90 (-0.04) 24.71 (-0.02)
1468c6 9.08 (+0.05) 8.02 (-0.00) 8.24 (+0.01) 25.34 (+0.02)
c01f92 8.68 (-0.01) 8.02 (-0.00) 8.18 (+0.03) 24.88 (+0.01)
7ff591 8.78 (-0.02) 8.04 (-0.01) 7.93 (-0.01) 24.75 (-0.01)
5d4774 8.99 (+0.03) 8.08 (+0.01) 8.00 (+0.00) 25.08 (+0.01)
56d8c2 8.70 (-0.03) 8.03 (+0.02) 8.00 (+0.02) 24.73 (+0.00)
12e6f4 8.93 (+0.00) 7.88 (+0.01) 7.84 (-0.01) 24.65 (+0.00)
12e6f4 8.90 (+0.02) 7.83 (-0.01) 7.89 (-0.02) 24.62 (-0.00)
61194a 8.71 (-0.03) 7.88 (-0.02) 8.04 (+0.01) 24.63 (-0.01)
70ce01 8.95 (+0.06) 8.01 (-0.01) 7.93 (-0.01) 24.89 (+0.01)
c04c20 8.48 (-0.04) 8.08 (+0.00) 8.02 (+0.01) 24.59 (-0.01)
827ee1 8.80 (-0.05) 8.05 (+0.00) 7.92 (-0.02) 24.77 (-0.03)
22ae67 9.28 (-0.01) 8.03 (-0.01) 8.11 (+0.02) 25.42 (-0.00)
0f4458 9.42 (+0.12) 8.09 (-0.01) 7.94 (+0.03) 25.45 (+0.05)
0f4458 8.44 (-0.06) 8.14 (+0.01) 7.74 (-0.04) 24.32 (-0.03)
0f4458 8.95 (+0.03) 8.04 (-0.02) 8.03 (-0.00) 25.02 (+0.00)
b8a566 8.67 (-0.02) 8.21 (+0.01) 8.05 (-0.03) 24.93 (-0.01)
b8a566 8.83 (+0.11) 8.11 (-0.03) 8.29 (+0.05) 25.23 (+0.04)
9747e9 7.95 (-0.04) 8.34 (+0.08) 7.89 (+0.04) 24.18 (+0.02)
b50e07 8.31 (-0.01) 7.73 (+0.01) 7.57 (+0.03) 23.61 (+0.01)
6a57d5 8.38 (-0.06) 7.64 (+0.02) 7.36 (-0.03) 23.38 (-0.03)
c0480f 8.95 (+0.10) 7.48 (-0.04) 7.57 (+0.02) 24.00 (+0.03)
4f443c 8.11 (-0.09) 7.76 (+0.04) 7.43 (-0.05) 23.30 (-0.04)
4f443c 8.88 (+0.09) 7.48 (-0.03) 7.80 (+0.07) 24.16 (+0.05)
788823 8.12 (-0.04) 7.70 (+0.03) 7.30 (-0.00) 23.12 (-0.01)
c21104 8.45 (+0.02) 7.49 (-0.02) 7.34 (-0.01) 23.27 (-0.00)
b9544a 8.27 (+0.04) 7.67 (-0.00) 7.40 (-0.00) 23.33 (+0.01)
33834c 7.97 (-0.02) 7.68 (+0.02) 7.40 (-0.04) 23.06 (-0.01)
521667 8.14 (-0.04) 7.55 (-0.00) 7.69 (-0.01) 23.38 (-0.02)
361648 8.51 (-0.01) 7.56 (-0.04) 7.80 (+0.06) 23.87 (+0.00)
fc0629 8.61 7.83 7.38 23.83

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query37]

platform: rds-postgres

revision Q37/1 Q37/2 Q37/3 total_duration
41aa62 2.27 (-0.06) 2.36 (+0.08) 2.30 (-0.01) 6.93 (+0.00)
7b5489 2.41 (-0.02) 2.18 (-0.09) 2.32 (-0.02) 6.91 (-0.04)
a23b07 2.45 (+0.02) 2.40 (+0.03) 2.37 (+0.01) 7.22 (+0.02)
cc2d00 2.40 (+0.09) 2.34 (-0.01) 2.34 (+0.03) 7.08 (+0.03)
ba9df2 2.20 (-0.04) 2.36 (+0.07) 2.28 (-0.03) 6.85 (+0.00)
a8f354 2.29 (+0.01) 2.22 (+0.01) 2.34 (-0.01) 6.84 (+0.00)
7feb0d 2.26 (+0.02) 2.21 (-0.06) 2.36 (-0.06) 6.83 (-0.03)
982fce 2.21 (-0.04) 2.34 (+0.07) 2.51 (+0.07) 7.07 (+0.03)
1f151d 2.31 (+0.05) 2.20 (-0.03) 2.36 (-0.01) 6.87 (-0.00)
ff1a1a 2.20 (-0.01) 2.28 (+0.04) 2.39 (+0.02) 6.87 (+0.02)
b1477b 2.21 (-0.03) 2.19 (-0.02) 2.35 (-0.04) 6.75 (-0.03)
1b947f 2.27 (+0.00) 2.24 (+0.00) 2.44 (+0.03) 6.96 (+0.01)
a21b55 2.27 (-0.01) 2.24 (-0.03) 2.38 (+0.01) 6.88 (-0.01)
4ba950 2.29 (+0.03) 2.32 (-0.00) 2.36 (+0.01) 6.97 (+0.01)
4e359d 2.22 (-0.02) 2.33 (+0.03) 2.35 (-0.03) 6.89 (-0.01)
3837fc 2.27 (+0.00) 2.25 (-0.01) 2.43 (+0.08) 6.96 (+0.02)
edcf4d 2.27 (+0.03) 2.26 (-0.01) 2.26 (-0.09) 6.79 (-0.02)
411c71 2.21 (+0.01) 2.27 (+0.01) 2.47 (+0.00) 6.96 (+0.01)
854348 2.18 (-0.01) 2.25 (-0.01) 2.46 (+0.08) 6.90 (+0.02)
7ba5c2 2.19 (+0.04) 2.27 (-0.04) 2.27 (+0.05) 6.73 (+0.01)
ebea29 2.10 (-0.00) 2.37 (+0.14) 2.17 (-0.08) 6.64 (+0.01)
22c890 2.11 (+0.00) 2.09 (-0.09) 2.36 (+0.08) 6.56 (-0.00)
f0b2e0 2.10 (-0.02) 2.29 (+0.02) 2.18 (-0.02) 6.58 (-0.01)
dec580 2.14 (+0.02) 2.26 (+0.06) 2.23 (-0.00) 6.62 (+0.02)
dec580 2.10 (-0.09) 2.14 (-0.07) 2.24 (-0.05) 6.48 (-0.07)
b1c2a6 2.31 (+0.02) 2.31 (+0.10) 2.37 (+0.09) 6.99 (+0.07)
931094 2.27 (+0.05) 2.11 (+0.01) 2.17 (-0.04) 6.55 (+0.01)
957acb 2.15 (+0.03) 2.10 (-0.01) 2.26 (+0.03) 6.51 (+0.02)
846532 2.10 (-0.01) 2.12 (+0.01) 2.18 (-0.05) 6.40 (-0.02)
d733bc 2.12 (+0.01) 2.10 (-0.11) 2.31 (+0.07) 6.53 (-0.01)
75ffe3 2.11 (-0.09) 2.35 (+0.11) 2.17 (-0.01) 6.63 (-0.00)
75ffe3 2.32 (+0.10) 2.12 (-0.05) 2.19 (-0.02) 6.64 (+0.01)
bf4623 2.11 (+0.00) 2.23 (-0.02) 2.23 (+0.02) 6.57 (+0.00)
b26c83 2.10 (-0.00) 2.28 (+0.01) 2.18 (-0.00) 6.57 (+0.00)
9d714a 2.11 (+0.01) 2.25 (+0.04) 2.19 (+0.01) 6.55 (+0.02)
6efea4 2.10 (+0.00) 2.16 (+0.03) 2.17 (-0.08) 6.44 (-0.01)
4071ff 2.09 (-0.06) 2.09 (-0.17) 2.35 (+0.07) 6.53 (-0.06)
4071ff 2.22 (+0.05) 2.52 (+0.21) 2.19 (-0.05) 6.92 (+0.07)
870ba4 2.11 (+0.00) 2.09 (-0.13) 2.30 (+0.05) 6.49 (-0.03)
f5ca89 2.11 (+0.01) 2.40 (+0.12) 2.19 (-0.00) 6.70 (+0.04)
8bd565 2.10 (-0.00) 2.15 (-0.03) 2.20 (+0.00) 6.45 (-0.01)
dd22c8 2.11 (+0.01) 2.21 (-0.03) 2.20 (+0.00) 6.52 (-0.01)
299db9 2.09 (-0.05) 2.27 (+0.07) 2.20 (-0.02) 6.57 (-0.00)
93f3f4 2.21 (-0.07) 2.13 (-0.00) 2.25 (-0.00) 6.58 (-0.03)
f6e2e0 2.38 (+0.10) 2.14 (-0.01) 2.26 (+0.03) 6.77 (+0.04)
f6e2e0 2.17 (+0.03) 2.16 (-0.07) 2.20 (-0.01) 6.54 (-0.02)
f6e2e0 2.11 (-0.00) 2.33 (+0.06) 2.22 (+0.02) 6.66 (+0.03)
f1d960 2.12 (-0.06) 2.19 (+0.03) 2.18 (-0.04) 6.49 (-0.02)
4a9279 2.25 (+0.01) 2.13 (+0.02) 2.27 (+0.03) 6.66 (+0.02)
2e4bf7 2.24 (+0.07) 2.10 (-0.11) 2.19 (+0.00) 6.53 (-0.02)
ce8fbb 2.09 (-0.04) 2.36 (+0.06) 2.19 (-0.03) 6.63 (-0.01)
ce8fbb 2.17 (+0.00) 2.23 (+0.01) 2.26 (+0.04) 6.66 (+0.02)
ce8fbb 2.17 (-0.05) 2.21 (+0.03) 2.18 (-0.06) 6.56 (-0.03)
d1a0f2 2.28 (+0.02) 2.15 (+0.02) 2.32 (+0.05) 6.75 (+0.03)
ccf92d 2.22 (-0.06) 2.11 (-0.00) 2.20 (-0.00) 6.54 (-0.02)
02b8e0 2.36 (+0.07) 2.11 (+0.01) 2.20 (-0.03) 6.68 (+0.02)
7b9057 2.20 (+0.04) 2.08 (-0.08) 2.26 (+0.02) 6.54 (-0.01)
9cada8 2.11 (-0.02) 2.27 (-0.00) 2.21 (+0.02) 6.59 (-0.00)
9cada8 2.16 (-0.02) 2.28 (+0.09) 2.16 (-0.02) 6.60 (+0.01)
9cada8 2.19 (+0.01) 2.10 (-0.03) 2.21 (-0.02) 6.50 (-0.01)
a60f68 2.18 (+0.01) 2.16 (+0.03) 2.26 (-0.01) 6.59 (+0.00)
d19c52 2.16 (+0.04) 2.10 (-0.00) 2.29 (-0.01) 6.56 (+0.01)
000eb1 2.09 (-0.08) 2.11 (-0.02) 2.31 (-0.00) 6.51 (-0.03)
000eb1 2.27 (+0.05) 2.14 (-0.06) 2.32 (+0.07) 6.73 (+0.02)
f51b48 2.17 (+0.05) 2.28 (+0.08) 2.16 (-0.07) 6.61 (+0.02)
f51b48 2.07 (+0.00) 2.10 (-0.14) 2.33 (+0.07) 6.50 (-0.02)
f51b48 2.07 (-0.00) 2.43 (+0.09) 2.17 (-0.00) 6.67 (+0.03)
9f906f 2.07 (-0.03) 2.24 (+0.02) 2.17 (-0.12) 6.48 (-0.05)
0692ff 2.14 (+0.02) 2.19 (-0.00) 2.46 (+0.13) 6.79 (+0.05)
2caece 2.10 (-0.01) 2.19 (-0.04) 2.18 (-0.00) 6.47 (-0.02)
bc7d3c 2.13 (+0.03) 2.28 (+0.03) 2.19 (-0.01) 6.60 (+0.02)
2153d2 2.07 (-0.08) 2.21 (+0.04) 2.21 (+0.01) 6.50 (-0.01)
2153d2 2.24 (+0.07) 2.13 (+0.04) 2.19 (+0.02) 6.57 (+0.04)
2153d2 2.09 (-0.04) 2.06 (-0.05) 2.14 (-0.02) 6.29 (-0.03)
a1b062 2.17 (-0.15) 2.16 (+0.00) 2.18 (-0.03) 6.52 (-0.06)
1d9d7c 2.56 (+0.17) 2.15 (+0.02) 2.26 (+0.06) 6.96 (+0.08)
3569c1 2.19 (-0.01) 2.10 (+0.01) 2.13 (+0.02) 6.43 (+0.01)
eaff14 2.21 (+0.02) 2.07 (-0.01) 2.09 (-0.08) 6.37 (-0.03)
f383b4 2.18 (+0.04) 2.09 (-0.07) 2.27 (+0.03) 6.54 (-0.00)
f383b4 2.11 (-0.04) 2.26 (+0.09) 2.20 (-0.09) 6.56 (-0.02)
f383b4 2.19 (+0.05) 2.07 (-0.03) 2.42 (+0.12) 6.68 (+0.05)
a4256b 2.08 (-0.04) 2.13 (+0.01) 2.16 (-0.02) 6.37 (-0.02)
371493 2.17 (-0.01) 2.11 (-0.01) 2.21 (+0.01) 6.49 (-0.01)
c5c143 2.20 (+0.02) 2.14 (-0.03) 2.19 (-0.04) 6.54 (-0.02)
58fa4f 2.17 (+0.03) 2.21 (+0.01) 2.29 (+0.02) 6.66 (+0.02)
121d53 2.11 (+0.01) 2.18 (+0.04) 2.24 (+0.04) 6.54 (+0.03)
121d53 2.09 (-0.00) 2.10 (+0.01) 2.16 (+0.03) 6.35 (+0.01)
ec3a3a 2.09 (-0.01) 2.08 (-0.01) 2.09 (-0.01) 6.27 (-0.01)
96e783 2.12 (-0.02) 2.10 (+0.01) 2.10 (-0.06) 6.32 (-0.02)
567b71 2.16 (-0.03) 2.09 (-0.03) 2.22 (+0.01) 6.47 (-0.02)
847fc5 2.22 (+0.05) 2.16 (-0.00) 2.20 (-0.06) 6.59 (-0.01)
5e08b3 2.11 (+0.00) 2.17 (-0.01) 2.35 (+0.05) 6.63 (+0.01)
4d291d 2.11 (+0.01) 2.18 (-0.00) 2.24 (-0.00) 6.54 (+0.00)
4d291d 2.09 (-0.02) 2.19 (+0.04) 2.24 (-0.00) 6.52 (+0.01)
bf63f1 2.13 (+0.02) 2.11 (-0.01) 2.24 (-0.06) 6.48 (-0.02)
0a0958 2.08 (-0.01) 2.13 (-0.02) 2.38 (+0.08) 6.60 (+0.02)
aabca5 2.09 (+0.00) 2.17 (+0.01) 2.20 (-0.01) 6.47 (+0.00)
a4be54 2.09 (-0.01) 2.16 (-0.05) 2.21 (-0.03) 6.46 (-0.03)
a3d7ad 2.11 (-0.01) 2.28 (+0.06) 2.29 (-0.05) 6.68 (+0.00)
a3d7ad 2.12 (+0.02) 2.15 (-0.10) 2.41 (+0.08) 6.68 (-0.00)
8ba169 2.07 (-0.06) 2.38 (+0.14) 2.24 (+0.04) 6.69 (+0.04)
e5cc2f 2.21 (+0.02) 2.08 (-0.03) 2.16 (-0.03) 6.46 (-0.02)
c6b56d 2.17 (+0.04) 2.16 (+0.04) 2.23 (+0.02) 6.56 (+0.03)
e067cd 2.09 (-0.01) 2.08 (-0.06) 2.20 (-0.01) 6.37 (-0.03)
bce423 2.12 (-0.10) 2.21 (+0.02) 2.22 (+0.03) 6.54 (-0.02)
bce423 2.36 (+0.12) 2.16 (-0.00) 2.15 (+0.01) 6.67 (+0.04)
c28bfd 2.10 (-0.01) 2.16 (+0.03) 2.14 (-0.03) 6.41 (-0.00)
95bf19 2.12 (-0.02) 2.10 (-0.03) 2.22 (+0.02) 6.43 (-0.01)
95bf19 2.17 (+0.02) 2.16 (+0.03) 2.17 (-0.00) 6.49 (+0.02)
080752 2.12 (+0.02) 2.09 (+0.02) 2.18 (+0.06) 6.39 (+0.03)
23d5e2 2.08 (-0.02) 2.06 (-0.04) 2.05 (-0.03) 6.19 (-0.03)
23d5e2 2.12 (+0.01) 2.14 (+0.01) 2.11 (-0.02) 6.37 (-0.00)
8b710b 2.10 (+0.01) 2.12 (-0.03) 2.15 (+0.01) 6.37 (-0.01)
8c6e60 2.09 (-0.04) 2.18 (+0.02) 2.14 (+0.04) 6.41 (+0.00)
10dae7 2.18 (-0.03) 2.14 (+0.03) 2.06 (-0.07) 6.38 (-0.03)
4c4d3d 2.24 (+0.04) 2.09 (-0.02) 2.22 (+0.02) 6.55 (+0.02)
9f94d0 2.15 (+0.03) 2.13 (-0.02) 2.17 (-0.00) 6.44 (+0.00)
9f94d0 2.09 (-0.08) 2.16 (+0.04) 2.17 (+0.01) 6.43 (-0.01)
9f94d0 2.27 (-0.09) 2.09 (+0.01) 2.16 (-0.04) 6.52 (-0.04)
c700c7 2.49 (+0.06) 2.07 (-0.01) 2.24 (+0.01) 6.80 (+0.02)
42c6dd 2.34 (+0.09) 2.09 (-0.01) 2.23 (-0.09) 6.66 (-0.01)
f6bf7b 2.16 (+0.00) 2.12 (+0.02) 2.45 (+0.09) 6.73 (+0.04)
1137b5 2.16 (-0.09) 2.08 (-0.00) 2.24 (+0.01) 6.49 (-0.03)
1468c6 2.37 (+0.10) 2.08 (-0.01) 2.22 (+0.01) 6.67 (+0.03)
1468c6 2.16 (+0.05) 2.10 (-0.01) 2.20 (+0.01) 6.47 (+0.02)
c01f92 2.06 (-0.08) 2.12 (+0.01) 2.17 (-0.04) 6.36 (-0.04)
7ff591 2.23 (+0.01) 2.09 (-0.04) 2.27 (+0.02) 6.60 (-0.00)
5d4774 2.20 (+0.05) 2.18 (+0.05) 2.23 (+0.01) 6.61 (+0.04)
56d8c2 2.10 (+0.01) 2.07 (+0.01) 2.21 (+0.03) 6.38 (+0.02)
12e6f4 2.08 (-0.05) 2.04 (-0.01) 2.14 (-0.03) 6.27 (-0.03)
12e6f4 2.20 (+0.06) 2.06 (-0.02) 2.21 (+0.06) 6.47 (+0.03)
61194a 2.08 (-0.05) 2.11 (+0.02) 2.08 (-0.10) 6.27 (-0.05)
70ce01 2.19 (+0.04) 2.07 (-0.01) 2.32 (-0.04) 6.58 (-0.01)
c04c20 2.11 (-0.16) 2.10 (+0.01) 2.42 (+0.05) 6.63 (-0.04)
827ee1 2.50 (+0.12) 2.09 (-0.08) 2.30 (-0.09) 6.89 (-0.02)
22ae67 2.23 (-0.04) 2.27 (+0.06) 2.52 (+0.11) 7.02 (+0.04)
0f4458 2.32 (+0.11) 2.14 (+0.05) 2.26 (+0.08) 6.73 (+0.08)
0f4458 2.10 (-0.03) 2.04 (-0.02) 2.09 (-0.18) 6.24 (-0.08)
0f4458 2.17 (-0.02) 2.08 (-0.08) 2.54 (+0.14) 6.80 (+0.01)
b8a566 2.22 (+0.06) 2.26 (+0.01) 2.24 (+0.03) 6.72 (+0.03)
b8a566 2.09 (-0.04) 2.24 (+0.08) 2.17 (-0.07) 6.51 (-0.01)
9747e9 2.18 (+0.03) 2.08 (+0.23) 2.33 (+0.32) 6.60 (+0.18)
b50e07 2.12 (+0.28) 1.69 (+0.00) 1.76 (-0.13) 5.58 (+0.04)
6a57d5 1.66 (-0.01) 1.68 (-0.05) 2.03 (+0.13) 5.37 (+0.03)
c0480f 1.67 (-0.03) 1.76 (+0.03) 1.80 (+0.03) 5.23 (+0.01)
4f443c 1.71 (+0.03) 1.71 (-0.03) 1.75 (+0.03) 5.18 (+0.01)
4f443c 1.66 (-0.04) 1.76 (-0.07) 1.69 (+0.02) 5.11 (-0.03)
788823 1.73 (-0.03) 1.89 (+0.08) 1.66 (+0.00) 5.29 (+0.02)
c21104 1.78 (-0.09) 1.74 (+0.04) 1.66 (-0.00) 5.18 (-0.02)
b9544a 1.95 (-0.00) 1.67 (-0.01) 1.66 (-0.04) 5.28 (-0.02)
33834c 1.96 (+0.09) 1.69 (-0.02) 1.73 (+0.02) 5.38 (+0.03)
521667 1.79 (+0.06) 1.72 (+0.00) 1.69 (-0.01) 5.20 (+0.02)
361648 1.68 (-0.11) 1.72 (+0.02) 1.71 (+0.03) 5.11 (-0.03)
fc0629 1.89 1.69 1.67 5.25

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query38]

platform: rds-postgres

revision Q38/1 Q38/2 Q38/3 total_duration
41aa62 1.17 (+0.01) 1.28 (+0.11) 1.25 (+0.02) 3.70 (+0.05)
7b5489 1.16 (-0.02) 1.15 (-0.07) 1.23 (-0.02) 3.54 (-0.04)
a23b07 1.18 (+0.01) 1.24 (+0.06) 1.26 (-0.04) 3.68 (+0.01)
cc2d00 1.17 (-0.14) 1.17 (-0.00) 1.31 (-0.01) 3.65 (-0.05)
ba9df2 1.36 (+0.16) 1.18 (+0.01) 1.32 (-0.01) 3.86 (+0.05)
a8f354 1.17 (-0.01) 1.17 (-0.05) 1.34 (+0.05) 3.68 (-0.00)
7feb0d 1.18 (+0.02) 1.24 (+0.06) 1.27 (+0.02) 3.69 (+0.03)
982fce 1.16 (-0.00) 1.17 (+0.00) 1.25 (-0.04) 3.58 (-0.02)
1f151d 1.16 (-0.00) 1.17 (-0.04) 1.30 (+0.05) 3.64 (+0.00)
ff1a1a 1.17 (+0.01) 1.22 (+0.05) 1.24 (+0.07) 3.63 (+0.04)
b1477b 1.16 (-0.00) 1.16 (-0.07) 1.16 (-0.01) 3.49 (-0.03)
1b947f 1.16 (-0.09) 1.25 (-0.07) 1.17 (+0.00) 3.58 (-0.06)
a21b55 1.28 (+0.10) 1.35 (+0.16) 1.16 (-0.06) 3.79 (+0.06)
4ba950 1.17 (+0.00) 1.16 (-0.20) 1.24 (-0.00) 3.57 (-0.07)
4e359d 1.17 (+0.01) 1.44 (+0.13) 1.24 (-0.08) 3.86 (+0.02)
3837fc 1.16 (-0.00) 1.28 (-0.01) 1.35 (+0.16) 3.79 (+0.05)
edcf4d 1.16 (-0.01) 1.30 (+0.08) 1.16 (-0.08) 3.62 (-0.00)
411c71 1.17 (+0.01) 1.20 (+0.03) 1.26 (+0.08) 3.63 (+0.04)
854348 1.16 (-0.05) 1.16 (-0.00) 1.17 (-0.06) 3.49 (-0.04)
7ba5c2 1.22 (+0.03) 1.16 (-0.07) 1.24 (+0.03) 3.63 (-0.00)
ebea29 1.19 (+0.06) 1.25 (+0.11) 1.21 (-0.02) 3.65 (+0.05)
22c890 1.13 (-0.05) 1.12 (-0.04) 1.23 (+0.03) 3.48 (-0.02)
f0b2e0 1.19 (+0.07) 1.16 (-0.08) 1.20 (-0.01) 3.55 (-0.01)
dec580 1.12 (-0.00) 1.26 (+0.07) 1.21 (+0.02) 3.58 (+0.03)
dec580 1.12 (-0.00) 1.17 (+0.04) 1.19 (+0.06) 3.48 (+0.03)
b1c2a6 1.12 (-0.00) 1.12 (-0.00) 1.12 (+0.00) 3.36 (-0.00)
931094 1.12 (-0.00) 1.12 (-0.00) 1.12 (-0.15) 3.36 (-0.05)
957acb 1.12 (-0.10) 1.12 (+0.00) 1.31 (+0.09) 3.56 (-0.00)
846532 1.24 (+0.11) 1.12 (+0.00) 1.20 (-0.03) 3.56 (+0.02)
d733bc 1.12 (-0.05) 1.12 (-0.00) 1.24 (+0.03) 3.48 (-0.01)
75ffe3 1.18 (+0.05) 1.12 (-0.00) 1.21 (+0.01) 3.51 (+0.02)
75ffe3 1.12 (-0.06) 1.12 (-0.07) 1.20 (+0.07) 3.45 (-0.02)
bf4623 1.19 (+0.01) 1.20 (+0.08) 1.12 (-0.07) 3.51 (+0.01)
b26c83 1.18 (+0.05) 1.11 (-0.01) 1.20 (+0.07) 3.49 (+0.04)
9d714a 1.12 (+0.00) 1.12 (-0.00) 1.12 (-0.07) 3.37 (-0.02)
6efea4 1.12 (+0.02) 1.12 (+0.01) 1.20 (-0.04) 3.44 (-0.00)
4071ff 1.10 (-0.01) 1.11 (-0.08) 1.24 (+0.03) 3.46 (-0.02)
4071ff 1.12 (-0.00) 1.20 (+0.06) 1.20 (+0.04) 3.52 (+0.03)
870ba4 1.13 (+0.01) 1.13 (+0.01) 1.16 (+0.04) 3.41 (+0.02)
f5ca89 1.12 (+0.00) 1.11 (-0.06) 1.11 (-0.00) 3.35 (-0.02)
8bd565 1.12 (+0.00) 1.18 (+0.00) 1.11 (-0.09) 3.41 (-0.03)
dd22c8 1.12 (-0.04) 1.18 (+0.06) 1.22 (+0.02) 3.51 (+0.01)
299db9 1.16 (+0.02) 1.12 (-0.00) 1.20 (+0.07) 3.48 (+0.03)
93f3f4 1.14 (+0.02) 1.12 (+0.00) 1.13 (-0.01) 3.39 (+0.00)
f6e2e0 1.12 (-0.01) 1.12 (-0.00) 1.14 (-0.06) 3.38 (-0.02)
f6e2e0 1.13 (-0.04) 1.12 (-0.00) 1.21 (+0.08) 3.46 (+0.01)
f6e2e0 1.18 (+0.06) 1.12 (-0.05) 1.12 (-0.06) 3.42 (-0.02)
f1d960 1.12 (+0.01) 1.18 (+0.05) 1.20 (+0.00) 3.49 (+0.02)
4a9279 1.11 (-0.10) 1.12 (-0.03) 1.20 (+0.07) 3.44 (-0.02)
2e4bf7 1.23 (+0.04) 1.15 (+0.02) 1.12 (+0.00) 3.51 (+0.02)
ce8fbb 1.19 (+0.01) 1.12 (-0.13) 1.12 (-0.06) 3.43 (-0.06)
ce8fbb 1.17 (+0.03) 1.29 (+0.15) 1.19 (-0.02) 3.66 (+0.06)
ce8fbb 1.13 (+0.02) 1.12 (+0.00) 1.21 (+0.08) 3.47 (+0.04)
d1a0f2 1.11 (-0.01) 1.12 (+0.00) 1.12 (-0.13) 3.35 (-0.05)
ccf92d 1.13 (+0.01) 1.12 (+0.01) 1.29 (+0.14) 3.54 (+0.05)
02b8e0 1.12 (+0.00) 1.11 (-0.01) 1.13 (-0.09) 3.36 (-0.03)
7b9057 1.12 (-0.06) 1.12 (-0.01) 1.24 (+0.10) 3.47 (+0.01)
9cada8 1.19 (-0.09) 1.13 (+0.01) 1.13 (-0.05) 3.44 (-0.05)
9cada8 1.31 (+0.18) 1.12 (+0.01) 1.20 (-0.06) 3.62 (+0.03)
9cada8 1.11 (-0.12) 1.11 (-0.10) 1.28 (+0.09) 3.51 (-0.04)
a60f68 1.26 (+0.06) 1.23 (+0.10) 1.18 (-0.01) 3.67 (+0.05)
d19c52 1.19 (+0.07) 1.12 (+0.01) 1.19 (+0.06) 3.51 (+0.05)
000eb1 1.11 (+0.00) 1.11 (+0.00) 1.12 (-0.10) 3.35 (-0.03)
000eb1 1.11 (-0.01) 1.11 (-0.00) 1.24 (+0.11) 3.46 (+0.03)
f51b48 1.12 (+0.00) 1.12 (+0.01) 1.11 (-0.00) 3.35 (+0.00)
f51b48 1.12 (-0.08) 1.11 (-0.01) 1.12 (-0.06) 3.34 (-0.05)
f51b48 1.22 (-0.01) 1.12 (+0.00) 1.19 (-0.00) 3.53 (-0.00)
9f906f 1.24 (+0.05) 1.11 (-0.13) 1.19 (-0.08) 3.54 (-0.06)
0692ff 1.19 (+0.06) 1.27 (+0.14) 1.29 (+0.08) 3.75 (+0.09)
2caece 1.12 (-0.06) 1.12 (-0.06) 1.19 (-0.01) 3.44 (-0.04)
bc7d3c 1.20 (+0.08) 1.19 (+0.01) 1.20 (+0.05) 3.59 (+0.05)
2153d2 1.11 (-0.15) 1.18 (+0.05) 1.14 (-0.04) 3.43 (-0.05)
2153d2 1.31 (+0.09) 1.12 (+0.01) 1.19 (+0.00) 3.62 (+0.03)
2153d2 1.20 (-0.02) 1.11 (-0.02) 1.19 (-0.01) 3.50 (-0.02)
a1b062 1.23 (+0.09) 1.13 (+0.01) 1.20 (-0.06) 3.56 (+0.01)
1d9d7c 1.12 (-0.00) 1.12 (-0.01) 1.27 (+0.03) 3.52 (+0.01)
3569c1 1.12 (-0.00) 1.13 (+0.01) 1.23 (+0.09) 3.48 (+0.03)
eaff14 1.12 (+0.01) 1.12 (+0.01) 1.12 (-0.08) 3.37 (-0.02)
f383b4 1.11 (-0.11) 1.11 (-0.07) 1.21 (+0.07) 3.44 (-0.04)
f383b4 1.24 (+0.12) 1.19 (+0.07) 1.13 (+0.02) 3.57 (+0.07)
f383b4 1.11 (-0.00) 1.11 (-0.06) 1.11 (-0.07) 3.33 (-0.04)
a4256b 1.11 (-0.02) 1.18 (+0.02) 1.19 (-0.06) 3.48 (-0.02)
371493 1.13 (-0.04) 1.16 (+0.05) 1.27 (+0.14) 3.56 (+0.05)
c5c143 1.18 (+0.02) 1.11 (-0.01) 1.11 (-0.01) 3.40 (+0.00)
58fa4f 1.16 (+0.04) 1.12 (+0.00) 1.12 (-0.00) 3.40 (+0.01)
121d53 1.12 (-0.00) 1.12 (+0.01) 1.12 (-0.07) 3.36 (-0.02)
121d53 1.12 (+0.01) 1.11 (-0.00) 1.20 (-0.16) 3.44 (-0.06)
ec3a3a 1.11 (-0.02) 1.11 (-0.01) 1.43 (+0.26) 3.65 (+0.07)
96e783 1.13 (+0.01) 1.12 (-0.01) 1.14 (-0.05) 3.40 (-0.01)
567b71 1.12 (-0.07) 1.13 (-0.13) 1.20 (+0.00) 3.44 (-0.07)
847fc5 1.20 (+0.07) 1.30 (+0.16) 1.20 (-0.05) 3.69 (+0.05)
5e08b3 1.12 (-0.00) 1.12 (+0.00) 1.26 (+0.05) 3.50 (+0.02)
4d291d 1.12 (-0.03) 1.12 (-0.05) 1.20 (-0.12) 3.44 (-0.07)
4d291d 1.16 (+0.04) 1.17 (+0.05) 1.36 (+0.13) 3.70 (+0.08)
bf63f1 1.12 (-0.05) 1.12 (+0.01) 1.20 (+0.02) 3.44 (-0.01)
0a0958 1.18 (-0.00) 1.11 (-0.00) 1.18 (-0.01) 3.47 (-0.00)
aabca5 1.18 (-0.03) 1.12 (+0.02) 1.19 (-0.04) 3.49 (-0.02)
a4be54 1.22 (+0.10) 1.10 (-0.00) 1.24 (+0.00) 3.56 (+0.03)
a3d7ad 1.11 (-0.06) 1.10 (-0.01) 1.24 (+0.13) 3.45 (+0.02)
a3d7ad 1.18 (+0.07) 1.11 (-0.01) 1.10 (-0.11) 3.40 (-0.02)
8ba169 1.10 (-0.01) 1.12 (+0.01) 1.24 (+0.04) 3.46 (+0.01)
e5cc2f 1.12 (+0.02) 1.10 (-0.01) 1.19 (+0.08) 3.41 (+0.03)
c6b56d 1.10 (-0.01) 1.11 (+0.00) 1.10 (-0.15) 3.31 (-0.06)
e067cd 1.11 (-0.01) 1.11 (-0.07) 1.29 (+0.08) 3.51 (+0.00)
bce423 1.12 (-0.04) 1.19 (+0.07) 1.19 (+0.01) 3.50 (+0.02)
bce423 1.16 (-0.03) 1.11 (-0.00) 1.18 (-0.01) 3.45 (-0.02)
c28bfd 1.20 (+0.04) 1.11 (+0.00) 1.20 (+0.09) 3.51 (+0.04)
95bf19 1.15 (+0.03) 1.11 (+0.01) 1.10 (-0.09) 3.37 (-0.02)
95bf19 1.12 (-0.00) 1.10 (-0.04) 1.20 (-0.02) 3.42 (-0.02)
080752 1.12 (+0.01) 1.14 (+0.04) 1.22 (+0.04) 3.49 (+0.03)
23d5e2 1.11 (+0.01) 1.09 (-0.02) 1.17 (-0.01) 3.37 (-0.01)
23d5e2 1.10 (-0.16) 1.11 (-0.00) 1.18 (-0.00) 3.39 (-0.06)
8b710b 1.31 (+0.18) 1.11 (-0.17) 1.18 (-0.01) 3.61 (-0.01)
8c6e60 1.11 (+0.00) 1.33 (+0.20) 1.19 (+0.07) 3.64 (+0.09)
10dae7 1.10 (-0.00) 1.11 (+0.00) 1.11 (-0.06) 3.32 (-0.02)
4c4d3d 1.10 (-0.13) 1.11 (-0.00) 1.18 (-0.01) 3.39 (-0.05)
9f94d0 1.27 (+0.15) 1.11 (+0.01) 1.19 (+0.02) 3.58 (+0.06)
9f94d0 1.10 (-0.01) 1.10 (-0.01) 1.17 (-0.03) 3.37 (-0.02)
9f94d0 1.11 (+0.00) 1.11 (+0.02) 1.20 (+0.08) 3.42 (+0.03)
c700c7 1.11 (+0.00) 1.09 (-0.01) 1.12 (+0.01) 3.32 (+0.00)
42c6dd 1.11 (+0.00) 1.10 (-0.01) 1.11 (-0.07) 3.32 (-0.03)
f6bf7b 1.11 (-0.00) 1.11 (+0.00) 1.19 (+0.00) 3.41 (+0.00)
1137b5 1.11 (-0.00) 1.11 (+0.00) 1.19 (+0.03) 3.41 (+0.01)
1468c6 1.11 (-0.09) 1.11 (-0.00) 1.16 (-0.02) 3.38 (-0.04)
1468c6 1.21 (+0.04) 1.11 (-0.00) 1.18 (-0.00) 3.51 (+0.01)
c01f92 1.17 (+0.04) 1.11 (+0.01) 1.18 (-0.14) 3.46 (-0.04)
7ff591 1.12 (+0.01) 1.10 (-0.00) 1.37 (+0.15) 3.60 (+0.06)
5d4774 1.11 (+0.00) 1.10 (-0.01) 1.20 (+0.05) 3.41 (+0.01)
56d8c2 1.11 (+0.01) 1.11 (+0.00) 1.15 (-0.08) 3.37 (-0.02)
12e6f4 1.10 (-0.02) 1.11 (-0.01) 1.25 (+0.05) 3.45 (+0.01)
12e6f4 1.12 (-0.02) 1.12 (+0.03) 1.19 (+0.10) 3.43 (+0.03)
61194a 1.14 (+0.03) 1.09 (-0.01) 1.08 (-0.11) 3.31 (-0.03)
70ce01 1.10 (-0.01) 1.10 (-0.02) 1.21 (+0.02) 3.42 (-0.00)
c04c20 1.11 (+0.01) 1.12 (+0.00) 1.19 (-0.02) 3.42 (-0.00)
827ee1 1.10 (-0.02) 1.12 (-0.00) 1.21 (+0.00) 3.43 (-0.01)
22ae67 1.12 (-0.06) 1.12 (+0.01) 1.21 (+0.00) 3.45 (-0.02)
0f4458 1.20 (+0.09) 1.11 (+0.01) 1.21 (+0.10) 3.52 (+0.07)
0f4458 1.10 (-0.02) 1.10 (+0.00) 1.10 (-0.11) 3.30 (-0.04)
0f4458 1.12 (+0.01) 1.09 (-0.03) 1.24 (+0.03) 3.45 (+0.00)
b8a566 1.11 (+0.00) 1.12 (-0.14) 1.20 (+0.01) 3.44 (-0.04)
b8a566 1.11 (+0.01) 1.30 (+0.19) 1.19 (+0.07) 3.60 (+0.09)
9747e9 1.10 (+0.54) 1.09 (+0.56) 1.11 (+0.60) 3.30 (+0.56)
b50e07 0.71 (-0.09) 0.70 (-0.02) 0.69 (-0.01) 2.11 (-0.04)
6a57d5 0.78 (+0.10) 0.71 (+0.01) 0.69 (-0.00) 2.19 (+0.04)
c0480f 0.71 (-0.14) 0.70 (+0.01) 0.69 (-0.03) 2.10 (-0.06)
4f443c 0.82 (+0.15) 0.70 (+0.01) 0.71 (+0.00) 2.23 (+0.05)
4f443c 0.71 (+0.01) 0.70 (-0.10) 0.71 (-0.06) 2.12 (-0.05)
788823 0.70 (-0.01) 0.77 (-0.03) 0.75 (+0.06) 2.23 (+0.01)
c21104 0.71 (-0.00) 0.79 (+0.12) 0.71 (+0.04) 2.21 (+0.05)
b9544a 0.71 (+0.03) 0.70 (+0.01) 0.68 (-0.04) 2.10 (+0.00)
33834c 0.69 (-0.02) 0.69 (-0.03) 0.71 (+0.02) 2.09 (-0.01)
521667 0.70 (-0.04) 0.71 (+0.01) 0.70 (-0.00) 2.12 (-0.01)
361648 0.73 (-0.01) 0.70 (-0.02) 0.70 (-0.09) 2.14 (-0.04)
fc0629 0.74 0.72 0.77 2.22

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query39]

platform: rds-postgres

revision Q39/1 Q39/2 Q39/3 total_duration
41aa62 10.91 (+0.04) 10.78 (+0.03) 10.76 (+0.03) 32.46 (+0.03)
7b5489 10.49 (-0.03) 10.47 (-0.04) 10.43 (-0.04) 31.39 (-0.04)
a23b07 10.79 (-0.01) 10.88 (-0.04) 10.86 (+0.01) 32.53 (-0.01)
cc2d00 10.89 (+0.03) 11.32 (+0.03) 10.73 (-0.05) 32.94 (+0.00)
ba9df2 10.61 (-0.02) 10.97 (-0.03) 11.28 (+0.04) 32.87 (-0.00)
a8f354 10.79 (+0.00) 11.26 (+0.05) 10.89 (-0.02) 32.94 (+0.01)
7feb0d 10.78 (-0.00) 10.77 (+0.01) 11.08 (-0.02) 32.63 (-0.01)
982fce 10.80 (+0.01) 10.70 (-0.00) 11.32 (+0.03) 32.83 (+0.01)
1f151d 10.69 (-0.01) 10.73 (-0.03) 11.03 (+0.01) 32.44 (-0.01)
ff1a1a 10.80 (+0.00) 11.07 (+0.02) 10.87 (+0.00) 32.74 (+0.01)
b1477b 10.78 (-0.02) 10.82 (+0.00) 10.87 (-0.01) 32.47 (-0.01)
1b947f 11.02 (+0.00) 10.81 (-0.00) 10.98 (+0.00) 32.81 (+0.00)
a21b55 11.00 (+0.01) 10.84 (-0.02) 10.95 (-0.03) 32.78 (-0.01)
4ba950 10.88 (+0.00) 11.02 (+0.01) 11.30 (+0.01) 33.20 (+0.01)
4e359d 10.86 (-0.08) 10.86 (+0.00) 11.14 (+0.02) 32.87 (-0.02)
3837fc 11.79 (+0.08) 10.86 (-0.01) 10.87 (-0.01) 33.52 (+0.02)
edcf4d 10.95 (-0.01) 10.92 (+0.00) 11.00 (+0.01) 32.88 (+0.00)
411c71 11.08 (+0.00) 10.91 (+0.01) 10.85 (-0.02) 32.84 (-0.00)
854348 11.08 (-0.00) 10.85 (-0.04) 11.07 (+0.01) 33.00 (-0.01)
7ba5c2 11.08 (+0.07) 11.27 (+0.08) 10.93 (+0.04) 33.28 (+0.06)
ebea29 10.31 (-0.00) 10.47 (-0.02) 10.55 (-0.00) 31.33 (-0.01)
22c890 10.32 (+0.00) 10.67 (+0.03) 10.55 (+0.01) 31.54 (+0.01)
f0b2e0 10.30 (+0.00) 10.36 (-0.00) 10.44 (-0.00) 31.10 (-0.00)
dec580 10.28 (+0.01) 10.40 (+0.00) 10.45 (-0.02) 31.13 (-0.00)
dec580 10.14 (-0.01) 10.36 (+0.00) 10.65 (+0.04) 31.16 (+0.01)
b1c2a6 10.24 (-0.00) 10.32 (-0.07) 10.23 (-0.00) 30.80 (-0.03)
931094 10.25 (-0.01) 11.12 (+0.08) 10.27 (-0.01) 31.65 (+0.02)
957acb 10.40 (-0.00) 10.31 (-0.02) 10.38 (+0.01) 31.10 (-0.00)
846532 10.40 (+0.01) 10.47 (-0.01) 10.33 (-0.01) 31.20 (-0.00)
d733bc 10.35 (-0.02) 10.56 (+0.02) 10.42 (-0.01) 31.32 (-0.00)
75ffe3 10.61 (+0.05) 10.33 (+0.00) 10.52 (-0.00) 31.47 (+0.02)
75ffe3 10.14 (-0.02) 10.32 (-0.01) 10.52 (+0.02) 30.98 (-0.01)
bf4623 10.39 (+0.02) 10.42 (+0.01) 10.34 (-0.01) 31.16 (+0.01)
b26c83 10.16 (-0.03) 10.34 (-0.01) 10.44 (+0.01) 30.94 (-0.01)
9d714a 10.50 (+0.03) 10.39 (+0.00) 10.35 (+0.00) 31.24 (+0.01)
6efea4 10.23 (+0.00) 10.36 (-0.00) 10.33 (-0.02) 30.92 (-0.00)
4071ff 10.19 (-0.01) 10.38 (+0.02) 10.49 (+0.02) 31.06 (+0.01)
4071ff 10.26 (+0.01) 10.19 (-0.01) 10.31 (-0.02) 30.77 (-0.01)
870ba4 10.16 (-0.03) 10.30 (+0.01) 10.47 (+0.01) 30.93 (-0.00)
f5ca89 10.50 (+0.02) 10.18 (-0.01) 10.34 (+0.01) 31.03 (+0.01)
8bd565 10.33 (+0.01) 10.24 (-0.03) 10.21 (-0.01) 30.78 (-0.01)
dd22c8 10.25 (+0.00) 10.51 (+0.02) 10.32 (+0.00) 31.08 (+0.01)
299db9 10.22 (-0.01) 10.28 (-0.02) 10.27 (-0.01) 30.77 (-0.01)
93f3f4 10.30 (+0.02) 10.47 (+0.01) 10.36 (+0.00) 31.14 (+0.01)
f6e2e0 10.14 (-0.03) 10.41 (-0.01) 10.31 (+0.01) 30.86 (-0.01)
f6e2e0 10.44 (-0.00) 10.55 (+0.03) 10.19 (-0.01) 31.19 (+0.01)
f6e2e0 10.46 (+0.02) 10.23 (-0.02) 10.30 (-0.00) 30.99 (+0.00)
f1d960 10.21 (+0.01) 10.39 (+0.02) 10.30 (-0.02) 30.90 (+0.00)
4a9279 10.07 (-0.02) 10.19 (-0.01) 10.52 (+0.02) 30.78 (-0.00)
2e4bf7 10.29 (-0.00) 10.28 (-0.02) 10.35 (+0.00) 30.92 (-0.01)
ce8fbb 10.32 (-0.00) 10.47 (+0.01) 10.31 (-0.04) 31.10 (-0.01)
ce8fbb 10.35 (+0.01) 10.39 (+0.00) 10.75 (+0.07) 31.48 (+0.02)
ce8fbb 10.25 (+0.01) 10.38 (-0.01) 10.09 (-0.02) 30.72 (-0.01)
d1a0f2 10.12 (-0.01) 10.50 (-0.00) 10.26 (-0.01) 30.88 (-0.01)
ccf92d 10.20 (-0.01) 10.53 (+0.00) 10.38 (-0.00) 31.11 (-0.00)
02b8e0 10.27 (+0.00) 10.48 (+0.04) 10.41 (+0.02) 31.16 (+0.02)
7b9057 10.24 (-0.01) 10.07 (-0.02) 10.25 (-0.01) 30.57 (-0.01)
9cada8 10.31 (+0.04) 10.28 (+0.01) 10.30 (+0.02) 30.89 (+0.02)
9cada8 9.93 (-0.01) 10.16 (+0.01) 10.08 (-0.00) 30.18 (-0.00)
9cada8 9.99 (-0.02) 10.10 (-0.02) 10.13 (-0.02) 30.21 (-0.02)
a60f68 10.23 (-0.04) 10.31 (-0.01) 10.29 (-0.01) 30.84 (-0.02)
d19c52 10.69 (+0.05) 10.41 (+0.01) 10.40 (-0.02) 31.50 (+0.01)
000eb1 10.19 (+0.01) 10.31 (-0.01) 10.61 (+0.05) 31.11 (+0.02)
000eb1 10.07 (-0.02) 10.36 (+0.02) 10.09 (-0.02) 30.53 (-0.01)
f51b48 10.29 (-0.01) 10.18 (+0.02) 10.29 (+0.01) 30.76 (+0.00)
f51b48 10.41 (+0.02) 10.02 (-0.02) 10.23 (+0.02) 30.65 (+0.00)
f51b48 10.24 (+0.01) 10.22 (-0.03) 10.06 (-0.01) 30.52 (-0.01)
9f906f 10.11 (-0.03) 10.55 (+0.04) 10.13 (-0.02) 30.80 (-0.00)
0692ff 10.38 (+0.00) 10.14 (-0.03) 10.36 (+0.03) 30.88 (-0.00)
2caece 10.36 (+0.00) 10.45 (+0.01) 10.07 (-0.04) 30.89 (-0.01)
bc7d3c 10.33 (+0.02) 10.33 (+0.00) 10.46 (+0.02) 31.12 (+0.02)
2153d2 10.17 (+0.02) 10.28 (+0.01) 10.21 (+0.01) 30.66 (+0.01)
2153d2 10.00 (+0.00) 10.14 (-0.01) 10.14 (+0.00) 30.29 (-0.00)
2153d2 10.00 (-0.05) 10.21 (-0.01) 10.13 (-0.01) 30.34 (-0.02)
a1b062 10.52 (+0.03) 10.33 (-0.01) 10.19 (-0.01) 31.04 (+0.00)
1d9d7c 10.22 (-0.01) 10.40 (+0.01) 10.27 (+0.01) 30.89 (+0.00)
3569c1 10.32 (+0.04) 10.34 (+0.03) 10.21 (+0.01) 30.88 (+0.02)
eaff14 9.94 (-0.02) 10.09 (+0.00) 10.15 (-0.02) 30.18 (-0.01)
f383b4 10.14 (+0.00) 10.07 (-0.03) 10.33 (+0.00) 30.54 (-0.01)
f383b4 10.12 (-0.00) 10.37 (+0.03) 10.32 (-0.02) 30.81 (+0.00)
f383b4 10.15 (+0.02) 10.05 (-0.01) 10.50 (+0.03) 30.69 (+0.01)
a4256b 9.96 (-0.01) 10.20 (-0.02) 10.17 (-0.01) 30.34 (-0.01)
371493 10.10 (-0.01) 10.43 (+0.03) 10.24 (-0.01) 30.77 (+0.01)
c5c143 10.16 (-0.00) 10.08 (-0.03) 10.33 (+0.00) 30.58 (-0.01)
58fa4f 10.20 (-0.01) 10.36 (+0.02) 10.28 (+0.02) 30.85 (+0.01)
121d53 10.26 (-0.03) 10.13 (-0.04) 10.11 (+0.00) 30.51 (-0.02)
121d53 10.53 (+0.05) 10.51 (+0.01) 10.07 (-0.04) 31.10 (+0.01)
ec3a3a 10.07 (-0.01) 10.42 (+0.01) 10.45 (+0.03) 30.94 (+0.01)
96e783 10.21 (+0.01) 10.36 (-0.00) 10.19 (-0.02) 30.77 (-0.00)
567b71 10.12 (+0.00) 10.41 (+0.03) 10.39 (+0.02) 30.92 (+0.02)
847fc5 10.08 (-0.03) 10.11 (-0.03) 10.21 (-0.01) 30.41 (-0.02)
5e08b3 10.40 (+0.01) 10.41 (+0.01) 10.26 (-0.02) 31.07 (+0.00)
4d291d 10.26 (+0.01) 10.28 (-0.01) 10.46 (+0.01) 31.00 (+0.01)
4d291d 10.13 (-0.02) 10.39 (+0.00) 10.31 (+0.00) 30.83 (-0.01)
bf63f1 10.35 (-0.01) 10.38 (+0.00) 10.28 (-0.01) 31.01 (-0.01)
0a0958 10.50 (+0.02) 10.38 (+0.02) 10.34 (+0.01) 31.22 (+0.02)
aabca5 10.30 (+0.00) 10.18 (+0.00) 10.28 (-0.01) 30.76 (-0.00)
a4be54 10.28 (+0.01) 10.17 (+0.01) 10.39 (+0.02) 30.83 (+0.01)
a3d7ad 10.18 (-0.00) 10.11 (-0.00) 10.22 (-0.00) 30.51 (-0.00)
a3d7ad 10.19 (-0.05) 10.13 (-0.01) 10.26 (-0.01) 30.58 (-0.02)
8ba169 10.71 (+0.05) 10.21 (-0.04) 10.37 (-0.00) 31.30 (+0.00)
e5cc2f 10.16 (-0.03) 10.65 (+0.05) 10.41 (+0.02) 31.22 (+0.01)
c6b56d 10.47 (+0.02) 10.14 (-0.00) 10.23 (-0.02) 30.84 (-0.00)
e067cd 10.23 (+0.02) 10.17 (-0.01) 10.45 (+0.02) 30.85 (+0.01)
bce423 10.03 (-0.01) 10.25 (+0.02) 10.23 (+0.02) 30.52 (+0.01)
bce423 10.08 (+0.01) 10.04 (-0.01) 10.06 (-0.01) 30.18 (-0.01)
c28bfd 10.03 (-0.02) 10.13 (-0.00) 10.18 (-0.02) 30.34 (-0.02)
95bf19 10.26 (-0.00) 10.17 (-0.02) 10.39 (+0.01) 30.82 (-0.00)
95bf19 10.27 (-0.00) 10.33 (-0.01) 10.24 (+0.01) 30.84 (+0.00)
080752 10.30 (+0.01) 10.39 (+0.02) 10.13 (+0.01) 30.82 (+0.01)
23d5e2 10.24 (+0.02) 10.21 (+0.03) 10.05 (-0.01) 30.50 (+0.01)
23d5e2 10.01 (-0.00) 9.90 (-0.05) 10.16 (-0.02) 30.07 (-0.03)
8b710b 10.03 (-0.01) 10.47 (+0.02) 10.36 (+0.01) 30.87 (+0.01)
8c6e60 10.12 (-0.01) 10.28 (+0.03) 10.28 (+0.02) 30.69 (+0.01)
10dae7 10.17 (+0.01) 9.97 (-0.03) 10.11 (-0.02) 30.26 (-0.01)
4c4d3d 10.08 (-0.01) 10.29 (-0.02) 10.33 (-0.01) 30.71 (-0.01)
9f94d0 10.18 (+0.00) 10.46 (+0.03) 10.44 (+0.04) 31.09 (+0.02)
9f94d0 10.15 (-0.00) 10.17 (-0.04) 10.05 (-0.01) 30.38 (-0.02)
9f94d0 10.20 (-0.00) 10.59 (+0.05) 10.20 (+0.01) 30.99 (+0.02)
c700c7 10.22 (+0.00) 10.10 (-0.03) 10.06 (+0.00) 30.38 (-0.01)
42c6dd 10.21 (+0.01) 10.45 (+0.02) 10.06 (-0.03) 30.72 (-0.00)
f6bf7b 10.14 (-0.01) 10.23 (-0.01) 10.39 (+0.02) 30.75 (+0.00)
1137b5 10.20 (-0.01) 10.34 (-0.00) 10.21 (+0.00) 30.75 (-0.00)
1468c6 10.25 (-0.01) 10.38 (+0.01) 10.16 (+0.00) 30.80 (+0.00)
1468c6 10.33 (+0.01) 10.27 (-0.04) 10.12 (-0.00) 30.72 (-0.01)
c01f92 10.21 (+0.01) 10.66 (+0.02) 10.14 (-0.02) 31.01 (+0.00)
7ff591 10.09 (-0.02) 10.49 (+0.03) 10.36 (+0.01) 30.94 (+0.00)
5d4774 10.31 (+0.02) 10.22 (-0.01) 10.30 (-0.01) 30.82 (-0.00)
56d8c2 10.15 (+0.02) 10.36 (+0.01) 10.44 (+0.01) 30.95 (+0.01)
12e6f4 9.99 (+0.00) 10.24 (+0.02) 10.29 (-0.00) 30.52 (+0.01)
12e6f4 9.95 (-0.01) 10.02 (-0.01) 10.30 (+0.00) 30.27 (-0.00)
61194a 10.00 (-0.01) 10.13 (+0.00) 10.26 (-0.00) 30.40 (-0.00)
70ce01 10.10 (-0.01) 10.11 (-0.02) 10.30 (-0.00) 30.51 (-0.01)
c04c20 10.19 (+0.00) 10.30 (-0.00) 10.34 (+0.02) 30.84 (+0.01)
827ee1 10.15 (-0.02) 10.31 (-0.02) 10.17 (-0.02) 30.64 (-0.02)
22ae67 10.36 (+0.02) 10.47 (+0.04) 10.38 (+0.02) 31.21 (+0.02)
0f4458 10.19 (-0.01) 10.11 (+0.01) 10.19 (-0.00) 30.49 (+0.00)
0f4458 10.26 (+0.01) 9.99 (-0.02) 10.21 (-0.01) 30.46 (-0.01)
0f4458 10.17 (-0.02) 10.23 (+0.00) 10.30 (-0.00) 30.70 (-0.01)
b8a566 10.40 (+0.01) 10.22 (-0.02) 10.35 (-0.00) 30.97 (-0.00)
b8a566 10.25 (+0.03) 10.41 (+0.05) 10.38 (+0.02) 31.04 (+0.04)
9747e9 9.93 (-0.00) 9.88 (+0.01) 10.13 (+0.03) 29.94 (+0.01)
b50e07 9.93 (+0.03) 9.76 (+0.01) 9.87 (+0.02) 29.57 (+0.02)
6a57d5 9.64 (-0.04) 9.67 (+0.00) 9.66 (-0.04) 28.96 (-0.03)
c0480f 10.05 (+0.02) 9.65 (-0.01) 10.08 (+0.02) 29.78 (+0.01)
4f443c 9.90 (+0.02) 9.75 (-0.00) 9.89 (+0.00) 29.54 (+0.01)
4f443c 9.71 (+0.02) 9.76 (+0.01) 9.87 (+0.00) 29.35 (+0.01)
788823 9.56 (-0.05) 9.63 (+0.01) 9.86 (-0.00) 29.05 (-0.01)
c21104 10.01 (+0.03) 9.51 (-0.02) 9.88 (-0.00) 29.41 (+0.00)
b9544a 9.74 (-0.00) 9.70 (-0.00) 9.90 (-0.02) 29.35 (-0.01)
33834c 9.78 (-0.01) 9.70 (-0.02) 10.07 (+0.03) 29.55 (+0.00)
521667 9.90 (+0.00) 9.90 (+0.01) 9.75 (-0.01) 29.54 (+0.00)
361648 9.89 (+0.01) 9.80 (-0.00) 9.83 (+0.01) 29.52 (+0.01)
fc0629 9.79 9.82 9.70 29.31

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query40]

platform: rds-postgres

revision Q40/1 Q40/2 Q40/3 total_duration
41aa62 1.13 (+0.01) 1.13 (+0.01) 1.13 (-0.05) 3.39 (-0.01)
7b5489 1.12 (-0.01) 1.12 (-0.04) 1.19 (+0.05) 3.43 (-0.00)
a23b07 1.13 (-0.01) 1.17 (+0.04) 1.13 (-0.00) 3.44 (+0.01)
cc2d00 1.14 (-0.00) 1.13 (-0.00) 1.13 (-0.01) 3.41 (-0.00)
ba9df2 1.14 (-0.01) 1.14 (+0.00) 1.14 (+0.00) 3.41 (-0.01)
a8f354 1.15 (+0.01) 1.14 (-0.00) 1.14 (+0.00) 3.43 (+0.00)
7feb0d 1.14 (+0.02) 1.14 (+0.03) 1.14 (+0.03) 3.42 (+0.03)
982fce 1.11 (+0.00) 1.11 (-0.01) 1.11 (-0.00) 3.34 (-0.00)
1f151d 1.11 (-0.00) 1.12 (+0.01) 1.11 (+0.00) 3.34 (+0.00)
ff1a1a 1.11 (-0.01) 1.10 (-0.01) 1.11 (+0.00) 3.33 (-0.00)
b1477b 1.12 (+0.01) 1.11 (+0.00) 1.11 (+0.00) 3.33 (+0.00)
1b947f 1.11 (+0.00) 1.11 (+0.00) 1.11 (-0.18) 3.33 (-0.07)
a21b55 1.11 (+0.00) 1.11 (+0.00) 1.35 (+0.22) 3.56 (+0.07)
4ba950 1.11 (-0.00) 1.11 (+0.00) 1.11 (-0.05) 3.33 (-0.02)
4e359d 1.11 (+0.00) 1.11 (-0.00) 1.17 (+0.02) 3.40 (+0.01)
3837fc 1.11 (+0.00) 1.11 (-0.05) 1.15 (+0.04) 3.37 (-0.00)
edcf4d 1.11 (-0.00) 1.17 (+0.05) 1.11 (-0.08) 3.39 (-0.01)
411c71 1.11 (+0.00) 1.11 (+0.00) 1.20 (+0.06) 3.43 (+0.02)
854348 1.11 (+0.00) 1.11 (+0.00) 1.13 (-0.03) 3.35 (-0.01)
7ba5c2 1.11 (+0.04) 1.11 (+0.05) 1.16 (+0.09) 3.38 (+0.06)
ebea29 1.06 (-0.00) 1.06 (-0.01) 1.06 (-0.00) 3.19 (-0.00)
22c890 1.06 (-0.06) 1.07 (+0.01) 1.06 (-0.00) 3.20 (-0.02)
f0b2e0 1.13 (+0.00) 1.06 (-0.00) 1.06 (+0.00) 3.25 (+0.00)
dec580 1.13 (+0.07) 1.06 (-0.00) 1.06 (-0.02) 3.25 (+0.01)
dec580 1.06 (+0.00) 1.06 (+0.00) 1.08 (-0.06) 3.21 (-0.02)
b1c2a6 1.06 (+0.00) 1.06 (+0.00) 1.15 (+0.06) 3.28 (+0.02)
931094 1.06 (+0.00) 1.06 (-0.14) 1.09 (-0.03) 3.21 (-0.06)
957acb 1.06 (+0.00) 1.23 (+0.16) 1.13 (+0.07) 3.42 (+0.08)
846532 1.06 (-0.07) 1.06 (-0.05) 1.06 (+0.00) 3.17 (-0.05)
d733bc 1.14 (+0.02) 1.12 (+0.05) 1.06 (-0.00) 3.32 (+0.02)
75ffe3 1.12 (+0.05) 1.07 (+0.00) 1.06 (-0.01) 3.24 (+0.01)
75ffe3 1.06 (-0.00) 1.07 (+0.01) 1.07 (+0.01) 3.20 (+0.00)
bf4623 1.06 (-0.09) 1.06 (+0.01) 1.06 (+0.00) 3.19 (-0.03)
b26c83 1.16 (+0.09) 1.05 (-0.01) 1.05 (-0.00) 3.27 (+0.03)
9d714a 1.07 (-0.08) 1.06 (-0.06) 1.06 (+0.00) 3.18 (-0.05)
6efea4 1.17 (+0.12) 1.13 (+0.08) 1.06 (-0.10) 3.36 (+0.03)
4071ff 1.04 (-0.10) 1.05 (-0.01) 1.18 (+0.11) 3.27 (+0.00)
4071ff 1.15 (+0.08) 1.06 (-0.05) 1.06 (-0.05) 3.27 (-0.01)
870ba4 1.07 (-0.08) 1.12 (+0.05) 1.11 (+0.05) 3.30 (+0.00)
f5ca89 1.16 (+0.10) 1.06 (-0.03) 1.06 (+0.00) 3.29 (+0.03)
8bd565 1.06 (-0.02) 1.09 (+0.03) 1.06 (+0.00) 3.21 (+0.00)
dd22c8 1.08 (+0.01) 1.06 (-0.00) 1.06 (-0.01) 3.20 (+0.00)
299db9 1.06 (+0.00) 1.06 (-0.02) 1.07 (+0.01) 3.19 (-0.00)
93f3f4 1.06 (+0.00) 1.08 (+0.02) 1.06 (-0.20) 3.20 (-0.07)
f6e2e0 1.06 (-0.07) 1.06 (-0.01) 1.32 (+0.24) 3.44 (+0.05)
f6e2e0 1.13 (+0.06) 1.07 (+0.01) 1.07 (+0.01) 3.27 (+0.03)
f6e2e0 1.07 (+0.01) 1.06 (-0.00) 1.05 (-0.01) 3.18 (+0.00)
f1d960 1.05 (-0.01) 1.06 (-0.01) 1.06 (-0.10) 3.18 (-0.04)
4a9279 1.07 (+0.01) 1.08 (+0.02) 1.18 (+0.11) 3.32 (+0.04)
2e4bf7 1.06 (-0.11) 1.06 (-0.07) 1.06 (-0.01) 3.18 (-0.06)
ce8fbb 1.19 (-0.02) 1.14 (+0.00) 1.07 (-0.04) 3.39 (-0.02)
ce8fbb 1.22 (+0.14) 1.13 (+0.06) 1.11 (+0.04) 3.47 (+0.09)
ce8fbb 1.07 (+0.01) 1.06 (+0.00) 1.06 (-0.05) 3.19 (-0.02)
d1a0f2 1.06 (-0.00) 1.06 (-0.12) 1.12 (+0.05) 3.24 (-0.03)
ccf92d 1.06 (-0.01) 1.20 (-0.04) 1.06 (-0.03) 3.33 (-0.02)
02b8e0 1.07 (+0.01) 1.25 (+0.18) 1.09 (-0.01) 3.41 (+0.06)
7b9057 1.06 (-0.00) 1.06 (-0.00) 1.10 (+0.03) 3.22 (+0.01)
9cada8 1.06 (-0.04) 1.06 (+0.00) 1.06 (+0.00) 3.19 (-0.01)
9cada8 1.10 (+0.04) 1.06 (+0.00) 1.06 (-0.02) 3.22 (+0.01)
9cada8 1.05 (-0.07) 1.06 (-0.06) 1.08 (-0.04) 3.20 (-0.06)
a60f68 1.12 (+0.06) 1.13 (+0.07) 1.13 (+0.06) 3.39 (+0.06)
d19c52 1.06 (-0.01) 1.06 (-0.01) 1.07 (-0.07) 3.19 (-0.03)
000eb1 1.07 (+0.02) 1.07 (+0.02) 1.16 (+0.02) 3.30 (+0.02)
000eb1 1.05 (-0.01) 1.05 (-0.00) 1.14 (+0.08) 3.24 (+0.02)
f51b48 1.06 (+0.01) 1.05 (-0.00) 1.06 (-0.00) 3.17 (+0.00)
f51b48 1.05 (-0.01) 1.05 (-0.01) 1.06 (-0.09) 3.16 (-0.04)
f51b48 1.06 (-0.03) 1.06 (+0.01) 1.17 (+0.11) 3.29 (+0.03)
9f906f 1.09 (-0.02) 1.05 (-0.10) 1.05 (-0.14) 3.20 (-0.09)
0692ff 1.12 (-0.09) 1.17 (+0.05) 1.22 (+0.16) 3.51 (+0.03)
2caece 1.23 (+0.15) 1.11 (+0.04) 1.05 (-0.02) 3.40 (+0.06)
bc7d3c 1.07 (+0.01) 1.07 (+0.01) 1.07 (+0.01) 3.21 (+0.01)
2153d2 1.06 (-0.00) 1.06 (-0.00) 1.06 (+0.00) 3.17 (-0.00)
2153d2 1.06 (-0.05) 1.06 (+0.01) 1.06 (+0.00) 3.18 (-0.01)
2153d2 1.11 (+0.04) 1.05 (-0.01) 1.06 (-0.00) 3.22 (+0.01)
a1b062 1.06 (-0.01) 1.06 (-0.00) 1.06 (-0.04) 3.19 (-0.02)
1d9d7c 1.07 (+0.00) 1.06 (-0.06) 1.11 (+0.04) 3.24 (-0.00)
3569c1 1.06 (+0.00) 1.12 (+0.06) 1.07 (+0.01) 3.26 (+0.03)
eaff14 1.06 (+0.00) 1.06 (-0.06) 1.06 (-0.00) 3.17 (-0.02)
f383b4 1.06 (+0.01) 1.12 (+0.07) 1.06 (+0.01) 3.24 (+0.03)
f383b4 1.05 (-0.00) 1.05 (-0.00) 1.05 (-0.01) 3.15 (-0.00)
f383b4 1.05 (-0.01) 1.05 (-0.06) 1.06 (-0.00) 3.16 (-0.02)
a4256b 1.06 (-0.01) 1.11 (+0.02) 1.06 (-0.00) 3.23 (+0.00)
371493 1.07 (+0.02) 1.09 (+0.04) 1.06 (-0.04) 3.22 (+0.00)
c5c143 1.05 (-0.09) 1.05 (-0.01) 1.11 (-0.01) 3.21 (-0.04)
58fa4f 1.16 (+0.10) 1.06 (-0.00) 1.12 (+0.05) 3.34 (+0.05)
121d53 1.05 (-0.08) 1.06 (-0.04) 1.06 (+0.00) 3.18 (-0.04)
121d53 1.14 (+0.06) 1.11 (+0.05) 1.06 (+0.00) 3.30 (+0.03)
ec3a3a 1.07 (+0.00) 1.06 (-0.06) 1.06 (-0.02) 3.19 (-0.03)
96e783 1.07 (+0.01) 1.12 (+0.05) 1.08 (-0.03) 3.27 (+0.01)
567b71 1.06 (+0.00) 1.06 (-0.00) 1.12 (+0.06) 3.24 (+0.02)
847fc5 1.06 (-0.07) 1.06 (+0.00) 1.05 (-0.01) 3.18 (-0.02)
5e08b3 1.14 (+0.07) 1.06 (-0.06) 1.06 (+0.00) 3.26 (+0.00)
4d291d 1.07 (+0.01) 1.12 (+0.06) 1.06 (+0.00) 3.25 (+0.03)
4d291d 1.05 (-0.01) 1.05 (-0.07) 1.06 (-0.05) 3.17 (-0.04)
bf63f1 1.06 (-0.00) 1.13 (+0.08) 1.12 (-0.03) 3.31 (+0.01)
0a0958 1.06 (+0.01) 1.05 (-0.00) 1.15 (+0.09) 3.26 (+0.03)
aabca5 1.05 (+0.01) 1.05 (+0.00) 1.05 (+0.01) 3.16 (+0.01)
a4be54 1.04 (-0.02) 1.05 (-0.01) 1.04 (-0.04) 3.13 (-0.02)
a3d7ad 1.06 (+0.01) 1.06 (+0.02) 1.09 (+0.03) 3.21 (+0.02)
a3d7ad 1.05 (+0.00) 1.04 (-0.01) 1.05 (-0.00) 3.14 (-0.00)
8ba169 1.05 (+0.00) 1.05 (-0.08) 1.05 (-0.00) 3.16 (-0.02)
e5cc2f 1.05 (+0.00) 1.14 (+0.08) 1.05 (+0.00) 3.24 (+0.03)
c6b56d 1.05 (-0.00) 1.05 (+0.00) 1.05 (-0.00) 3.15 (+0.00)
e067cd 1.05 (+0.01) 1.05 (+0.00) 1.05 (+0.02) 3.15 (+0.01)
bce423 1.04 (-0.00) 1.05 (+0.01) 1.03 (-0.06) 3.12 (-0.02)
bce423 1.04 (-0.01) 1.04 (+0.00) 1.09 (+0.04) 3.17 (+0.01)
c28bfd 1.05 (+0.01) 1.04 (-0.01) 1.04 (-0.07) 3.14 (-0.02)
95bf19 1.04 (-0.01) 1.05 (-0.01) 1.11 (+0.05) 3.21 (+0.02)
95bf19 1.05 (-0.01) 1.06 (+0.02) 1.05 (-0.00) 3.16 (+0.00)
080752 1.07 (+0.02) 1.04 (+0.01) 1.05 (-0.02) 3.15 (-0.00)
23d5e2 1.05 (+0.00) 1.03 (-0.04) 1.07 (-0.02) 3.15 (-0.02)
23d5e2 1.05 (+0.01) 1.07 (+0.02) 1.09 (+0.04) 3.21 (+0.02)
8b710b 1.04 (-0.06) 1.05 (-0.03) 1.05 (-0.03) 3.14 (-0.04)
8c6e60 1.10 (-0.05) 1.08 (+0.03) 1.08 (+0.03) 3.27 (+0.01)
10dae7 1.16 (+0.11) 1.05 (-0.00) 1.04 (-0.01) 3.25 (+0.03)
4c4d3d 1.04 (-0.01) 1.05 (+0.00) 1.05 (+0.00) 3.14 (-0.00)
9f94d0 1.05 (+0.01) 1.05 (-0.01) 1.05 (+0.00) 3.15 (-0.00)
9f94d0 1.04 (-0.01) 1.06 (+0.00) 1.05 (-0.05) 3.15 (-0.02)
9f94d0 1.05 (-0.00) 1.06 (+0.01) 1.11 (+0.05) 3.22 (+0.02)
c700c7 1.05 (+0.01) 1.05 (+0.00) 1.05 (+0.01) 3.15 (+0.01)
42c6dd 1.04 (-0.00) 1.05 (+0.01) 1.04 (-0.03) 3.13 (-0.01)
f6bf7b 1.04 (-0.01) 1.04 (-0.01) 1.07 (+0.03) 3.16 (+0.01)
1137b5 1.05 (+0.00) 1.05 (-0.00) 1.04 (-0.06) 3.14 (-0.02)
1468c6 1.05 (+0.00) 1.05 (+0.00) 1.11 (+0.04) 3.21 (+0.02)
1468c6 1.05 (-0.04) 1.05 (-0.06) 1.06 (+0.01) 3.16 (-0.03)
c01f92 1.09 (+0.05) 1.12 (+0.07) 1.05 (+0.01) 3.26 (+0.04)
7ff591 1.04 (-0.01) 1.04 (-0.00) 1.04 (-0.01) 3.12 (-0.01)
5d4774 1.05 (+0.01) 1.04 (-0.01) 1.05 (+0.02) 3.14 (+0.01)
56d8c2 1.04 (-0.01) 1.05 (+0.01) 1.03 (-0.00) 3.12 (-0.00)
12e6f4 1.05 (-0.00) 1.04 (-0.01) 1.03 (-0.02) 3.13 (-0.01)
12e6f4 1.05 (-0.01) 1.05 (+0.02) 1.05 (+0.02) 3.15 (+0.01)
61194a 1.06 (+0.02) 1.03 (-0.01) 1.03 (-0.07) 3.13 (-0.02)
70ce01 1.03 (-0.02) 1.04 (-0.06) 1.11 (+0.05) 3.19 (-0.01)
c04c20 1.05 (-0.00) 1.11 (+0.06) 1.06 (-0.00) 3.22 (+0.02)
827ee1 1.05 (-0.02) 1.04 (-0.03) 1.06 (-0.06) 3.16 (-0.03)
22ae67 1.07 (-0.02) 1.07 (+0.01) 1.13 (+0.07) 3.27 (+0.02)
0f4458 1.09 (+0.05) 1.06 (+0.02) 1.05 (-0.00) 3.20 (+0.02)
0f4458 1.04 (-0.01) 1.04 (-0.01) 1.05 (-0.06) 3.14 (-0.03)
0f4458 1.05 (+0.00) 1.05 (-0.00) 1.12 (+0.07) 3.22 (+0.02)
b8a566 1.05 (-0.00) 1.05 (-0.00) 1.05 (+0.00) 3.15 (-0.00)
b8a566 1.05 (-0.02) 1.05 (+0.00) 1.05 (+0.01) 3.15 (-0.00)
9747e9 1.07 (+0.64) 1.05 (+0.70) 1.04 (+0.66) 3.16 (+0.67)
b50e07 0.65 (+0.04) 0.62 (-0.01) 0.63 (-0.09) 1.90 (-0.02)
6a57d5 0.63 (-0.02) 0.62 (-0.04) 0.69 (+0.05) 1.95 (-0.00)
c0480f 0.64 (-0.05) 0.64 (+0.00) 0.66 (+0.00) 1.95 (-0.01)
4f443c 0.67 (-0.07) 0.64 (-0.13) 0.66 (+0.02) 1.97 (-0.06)
4f443c 0.72 (+0.14) 0.73 (+0.13) 0.65 (+0.01) 2.10 (+0.09)
788823 0.63 (-0.01) 0.65 (+0.02) 0.64 (+0.03) 1.93 (+0.02)
c21104 0.63 (-0.05) 0.64 (+0.01) 0.62 (-0.05) 1.89 (-0.03)
b9544a 0.66 (+0.03) 0.63 (+0.01) 0.65 (+0.03) 1.95 (+0.02)
33834c 0.64 (+0.01) 0.63 (-0.03) 0.63 (-0.02) 1.90 (-0.01)
521667 0.64 (+0.01) 0.65 (-0.06) 0.64 (-0.12) 1.93 (-0.06)
361648 0.63 (-0.03) 0.69 (+0.07) 0.73 (+0.14) 2.06 (+0.07)
fc0629 0.65 0.64 0.64 1.93

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query41]

platform: rds-postgres

revision Q41/1 Q41/2 Q41/3 total_duration
41aa62 1.24 (-0.00) 1.11 (-0.06) 1.12 (+0.02) 3.47 (-0.01)
7b5489 1.24 (+0.04) 1.18 (-0.01) 1.10 (-0.01) 3.52 (+0.01)
a23b07 1.19 (+0.07) 1.20 (+0.00) 1.12 (-0.06) 3.50 (-0.00)
cc2d00 1.11 (-0.08) 1.20 (+0.07) 1.20 (+0.07) 3.51 (+0.02)
ba9df2 1.20 (+0.04) 1.12 (-0.11) 1.12 (-0.00) 3.45 (-0.02)
a8f354 1.15 (-0.04) 1.26 (+0.12) 1.12 (+0.00) 3.54 (+0.02)
7feb0d 1.20 (-0.01) 1.13 (-0.12) 1.12 (+0.03) 3.45 (-0.04)
982fce 1.22 (+0.12) 1.29 (+0.07) 1.09 (-0.05) 3.60 (+0.04)
1f151d 1.09 (+0.00) 1.21 (+0.01) 1.15 (-0.07) 3.45 (-0.02)
ff1a1a 1.09 (+0.00) 1.20 (+0.02) 1.23 (+0.10) 3.53 (+0.04)
b1477b 1.09 (-0.10) 1.18 (+0.07) 1.12 (+0.03) 3.39 (-0.00)
1b947f 1.21 (+0.11) 1.10 (+0.01) 1.09 (-0.00) 3.40 (+0.04)
a21b55 1.09 (-0.16) 1.09 (+0.00) 1.09 (+0.00) 3.28 (-0.05)
4ba950 1.29 (+0.10) 1.09 (-0.00) 1.09 (-0.00) 3.47 (+0.03)
4e359d 1.17 (-0.05) 1.09 (-0.00) 1.09 (-0.00) 3.36 (-0.02)
3837fc 1.24 (+0.06) 1.09 (-0.06) 1.09 (-0.06) 3.42 (-0.02)
edcf4d 1.17 (-0.06) 1.16 (+0.01) 1.16 (+0.06) 3.49 (-0.00)
411c71 1.25 (-0.02) 1.15 (+0.05) 1.10 (+0.01) 3.49 (+0.01)
854348 1.27 (+0.09) 1.09 (-0.07) 1.09 (+0.00) 3.46 (+0.01)
7ba5c2 1.17 (+0.12) 1.17 (+0.04) 1.09 (-0.02) 3.43 (+0.04)
ebea29 1.05 (-0.06) 1.13 (+0.08) 1.11 (+0.00) 3.29 (+0.01)
22c890 1.12 (+0.08) 1.04 (-0.11) 1.10 (+0.04) 3.27 (+0.00)
f0b2e0 1.04 (-0.08) 1.17 (-0.03) 1.06 (+0.02) 3.27 (-0.03)
dec580 1.13 (+0.09) 1.21 (+0.08) 1.04 (-0.10) 3.38 (+0.02)
dec580 1.04 (-0.00) 1.12 (-0.00) 1.16 (+0.04) 3.31 (+0.01)
b1c2a6 1.04 (-0.00) 1.12 (+0.00) 1.12 (+0.08) 3.28 (+0.02)
931094 1.04 (+0.00) 1.12 (+0.00) 1.04 (-0.15) 3.20 (-0.05)
957acb 1.04 (-0.20) 1.12 (+0.08) 1.22 (+0.17) 3.38 (+0.00)
846532 1.29 (+0.15) 1.04 (-0.09) 1.04 (-0.18) 3.38 (-0.04)
d733bc 1.12 (-0.06) 1.14 (+0.09) 1.27 (+0.22) 3.53 (+0.08)
75ffe3 1.19 (+0.01) 1.04 (-0.08) 1.04 (-0.00) 3.27 (-0.03)
75ffe3 1.18 (+0.13) 1.13 (-0.07) 1.04 (-0.00) 3.36 (+0.02)
bf4623 1.05 (+0.01) 1.21 (+0.08) 1.04 (-0.08) 3.30 (+0.00)
b26c83 1.03 (-0.11) 1.12 (+0.00) 1.12 (+0.08) 3.28 (-0.01)
9d714a 1.16 (+0.11) 1.11 (-0.06) 1.04 (-0.09) 3.31 (-0.02)
6efea4 1.04 (+0.01) 1.18 (+0.08) 1.14 (+0.11) 3.37 (+0.07)
4071ff 1.03 (-0.08) 1.10 (-0.00) 1.03 (-0.14) 3.15 (-0.08)
4071ff 1.12 (+0.08) 1.10 (-0.02) 1.20 (+0.03) 3.42 (+0.03)
870ba4 1.04 (+0.00) 1.12 (-0.17) 1.16 (+0.11) 3.32 (-0.04)
f5ca89 1.04 (+0.00) 1.36 (+0.22) 1.05 (+0.01) 3.44 (+0.08)
8bd565 1.03 (-0.01) 1.12 (+0.00) 1.04 (-0.15) 3.19 (-0.06)
dd22c8 1.04 (-0.07) 1.12 (-0.03) 1.23 (+0.19) 3.39 (+0.02)
299db9 1.12 (+0.08) 1.15 (+0.03) 1.04 (+0.00) 3.31 (+0.04)
93f3f4 1.04 (-0.07) 1.12 (+0.08) 1.04 (-0.00) 3.19 (-0.00)
f6e2e0 1.12 (+0.07) 1.04 (-0.07) 1.04 (-0.01) 3.20 (-0.01)
f6e2e0 1.05 (+0.01) 1.12 (-0.02) 1.05 (-0.06) 3.22 (-0.02)
f6e2e0 1.03 (-0.01) 1.14 (+0.02) 1.12 (+0.08) 3.30 (+0.03)
f1d960 1.04 (+0.00) 1.12 (-0.00) 1.04 (-0.07) 3.19 (-0.03)
4a9279 1.04 (-0.00) 1.12 (-0.00) 1.12 (+0.00) 3.28 (-0.00)
2e4bf7 1.04 (-0.12) 1.12 (+0.07) 1.12 (+0.07) 3.28 (-0.00)
ce8fbb 1.19 (-0.05) 1.05 (-0.12) 1.05 (-0.05) 3.29 (-0.07)
ce8fbb 1.25 (+0.12) 1.19 (+0.06) 1.10 (-0.02) 3.54 (+0.05)
ce8fbb 1.11 (+0.07) 1.12 (-0.00) 1.12 (+0.08) 3.36 (+0.05)
d1a0f2 1.04 (-0.07) 1.12 (+0.00) 1.04 (-0.00) 3.20 (-0.03)
ccf92d 1.12 (-0.00) 1.12 (-0.00) 1.04 (-0.06) 3.28 (-0.02)
02b8e0 1.12 (-0.02) 1.13 (+0.09) 1.10 (+0.06) 3.35 (+0.04)
7b9057 1.14 (+0.01) 1.04 (-0.04) 1.04 (-0.00) 3.22 (-0.01)
9cada8 1.12 (-0.08) 1.08 (+0.04) 1.04 (+0.00) 3.25 (-0.01)
9cada8 1.22 (+0.18) 1.04 (-0.07) 1.04 (+0.01) 3.30 (+0.04)
9cada8 1.03 (-0.14) 1.11 (-0.08) 1.03 (-0.05) 3.18 (-0.09)
a60f68 1.20 (+0.15) 1.20 (+0.07) 1.09 (+0.05) 3.48 (+0.09)
d19c52 1.04 (-0.07) 1.12 (+0.00) 1.04 (-0.00) 3.20 (-0.03)
000eb1 1.12 (+0.08) 1.12 (+0.00) 1.04 (+0.01) 3.29 (+0.03)
000eb1 1.03 (-0.11) 1.12 (+0.01) 1.03 (-0.08) 3.18 (-0.06)
f51b48 1.16 (+0.04) 1.11 (-0.00) 1.11 (+0.07) 3.39 (+0.04)
f51b48 1.11 (-0.08) 1.11 (+0.05) 1.03 (-0.06) 3.26 (-0.03)
f51b48 1.21 (+0.17) 1.06 (-0.05) 1.09 (-0.02) 3.37 (+0.03)
9f906f 1.03 (-0.07) 1.11 (-0.08) 1.11 (-0.12) 3.26 (-0.09)
0692ff 1.10 (-0.06) 1.20 (+0.15) 1.27 (+0.23) 3.58 (+0.10)
2caece 1.18 (+0.13) 1.04 (-0.19) 1.04 (-0.13) 3.25 (-0.08)
bc7d3c 1.04 (-0.07) 1.28 (+0.23) 1.19 (+0.08) 3.52 (+0.08)
2153d2 1.12 (-0.06) 1.04 (-0.05) 1.10 (+0.06) 3.25 (-0.03)
2153d2 1.20 (+0.16) 1.10 (-0.02) 1.04 (+0.00) 3.33 (+0.04)
2153d2 1.03 (-0.02) 1.12 (-0.00) 1.04 (-0.07) 3.19 (-0.03)
a1b062 1.05 (-0.06) 1.12 (+0.07) 1.12 (+0.07) 3.29 (+0.02)
1d9d7c 1.12 (-0.01) 1.05 (+0.01) 1.04 (-0.07) 3.21 (-0.02)
3569c1 1.13 (-0.06) 1.04 (-0.03) 1.11 (+0.07) 3.29 (-0.01)
eaff14 1.20 (+0.16) 1.07 (-0.04) 1.04 (-0.07) 3.31 (+0.02)
f383b4 1.03 (-0.08) 1.11 (+0.02) 1.12 (+0.08) 3.26 (+0.01)
f383b4 1.12 (+0.01) 1.08 (+0.05) 1.04 (+0.01) 3.24 (+0.02)
f383b4 1.11 (-0.09) 1.03 (-0.01) 1.03 (-0.06) 3.18 (-0.05)
a4256b 1.22 (+0.09) 1.04 (-0.01) 1.10 (+0.05) 3.36 (+0.04)
371493 1.12 (+0.01) 1.05 (-0.06) 1.04 (+0.01) 3.22 (-0.01)
c5c143 1.11 (+0.07) 1.11 (-0.01) 1.03 (-0.01) 3.26 (+0.02)
58fa4f 1.04 (+0.01) 1.12 (-0.00) 1.04 (-0.07) 3.20 (-0.02)
121d53 1.03 (-0.14) 1.12 (-0.00) 1.12 (+0.07) 3.27 (-0.03)
121d53 1.20 (+0.02) 1.12 (-0.00) 1.05 (+0.01) 3.38 (+0.01)
ec3a3a 1.18 (+0.13) 1.12 (-0.00) 1.04 (-0.05) 3.34 (+0.02)
96e783 1.04 (-0.00) 1.13 (-0.08) 1.09 (+0.05) 3.27 (-0.01)
567b71 1.04 (-0.07) 1.22 (+0.17) 1.04 (-0.06) 3.30 (+0.01)
847fc5 1.12 (+0.00) 1.04 (-0.10) 1.10 (-0.01) 3.26 (-0.04)
5e08b3 1.12 (-0.15) 1.15 (+0.10) 1.12 (+0.04) 3.39 (-0.01)
4d291d 1.32 (+0.18) 1.04 (-0.07) 1.07 (+0.03) 3.43 (+0.05)
4d291d 1.12 (+0.00) 1.12 (-0.05) 1.04 (+0.00) 3.28 (-0.02)
bf63f1 1.12 (+0.08) 1.18 (+0.06) 1.04 (-0.07) 3.34 (+0.02)
0a0958 1.04 (+0.01) 1.11 (-0.01) 1.12 (+0.08) 3.27 (+0.03)
aabca5 1.03 (+0.00) 1.12 (-0.02) 1.04 (-0.06) 3.19 (-0.03)
a4be54 1.03 (-0.10) 1.14 (+0.03) 1.10 (-0.00) 3.27 (-0.02)
a3d7ad 1.14 (+0.02) 1.11 (+0.01) 1.10 (+0.07) 3.35 (+0.03)
a3d7ad 1.12 (+0.09) 1.10 (-0.00) 1.03 (-0.07) 3.26 (+0.00)
8ba169 1.03 (-0.08) 1.10 (-0.01) 1.11 (+0.08) 3.25 (-0.00)
e5cc2f 1.12 (-0.04) 1.11 (+0.07) 1.02 (-0.00) 3.26 (+0.01)
c6b56d 1.17 (+0.14) 1.03 (-0.07) 1.02 (-0.08) 3.23 (-0.00)
e067cd 1.03 (-0.07) 1.10 (+0.07) 1.11 (+0.09) 3.24 (+0.03)
bce423 1.11 (+0.10) 1.03 (-0.06) 1.02 (-0.00) 3.15 (+0.01)
bce423 1.01 (-0.01) 1.10 (+0.00) 1.02 (-0.01) 3.13 (-0.01)
c28bfd 1.02 (-0.01) 1.10 (-0.01) 1.03 (-0.07) 3.15 (-0.03)
95bf19 1.03 (-0.21) 1.11 (+0.07) 1.10 (+0.06) 3.25 (-0.04)
95bf19 1.30 (+0.10) 1.03 (-0.01) 1.04 (+0.01) 3.37 (+0.04)
080752 1.18 (+0.07) 1.04 (-0.06) 1.03 (-0.07) 3.25 (-0.02)
23d5e2 1.11 (+0.07) 1.10 (-0.00) 1.11 (-0.01) 3.32 (+0.02)
23d5e2 1.03 (-0.12) 1.10 (+0.00) 1.12 (+0.10) 3.26 (-0.01)
8b710b 1.17 (+0.05) 1.10 (-0.01) 1.02 (-0.02) 3.29 (+0.01)
8c6e60 1.11 (-0.05) 1.11 (+0.00) 1.04 (+0.01) 3.26 (-0.01)
10dae7 1.17 (+0.13) 1.11 (-0.00) 1.03 (-0.07) 3.30 (+0.01)
4c4d3d 1.03 (-0.00) 1.11 (-0.00) 1.11 (+0.08) 3.25 (+0.02)
9f94d0 1.04 (-0.05) 1.12 (+0.02) 1.03 (-0.01) 3.18 (-0.02)
9f94d0 1.10 (+0.06) 1.09 (-0.01) 1.04 (+0.01) 3.23 (+0.02)
9f94d0 1.04 (-0.03) 1.10 (-0.06) 1.03 (+0.01) 3.16 (-0.03)
c700c7 1.07 (+0.00) 1.17 (-0.01) 1.02 (-0.01) 3.26 (-0.01)
42c6dd 1.07 (+0.04) 1.18 (+0.05) 1.03 (+0.01) 3.28 (+0.04)
f6bf7b 1.03 (+0.00) 1.12 (+0.00) 1.02 (-0.01) 3.17 (-0.00)
1137b5 1.03 (-0.01) 1.12 (+0.01) 1.03 (-0.01) 3.17 (-0.00)
1468c6 1.04 (-0.12) 1.11 (-0.00) 1.04 (+0.01) 3.18 (-0.04)
1468c6 1.18 (+0.15) 1.11 (-0.04) 1.03 (-0.08) 3.32 (+0.01)
c01f92 1.03 (-0.00) 1.15 (+0.04) 1.12 (+0.09) 3.30 (+0.04)
7ff591 1.03 (-0.11) 1.10 (+0.00) 1.03 (+0.00) 3.17 (-0.03)
5d4774 1.15 (+0.11) 1.09 (-0.01) 1.03 (+0.01) 3.28 (+0.04)
56d8c2 1.03 (-0.07) 1.10 (+0.07) 1.02 (-0.00) 3.16 (+0.00)
12e6f4 1.10 (-0.02) 1.03 (-0.01) 1.02 (-0.00) 3.15 (-0.01)
12e6f4 1.12 (+0.02) 1.04 (-0.04) 1.02 (-0.01) 3.18 (-0.01)
61194a 1.10 (+0.00) 1.09 (+0.06) 1.03 (+0.00) 3.22 (+0.02)
70ce01 1.10 (+0.07) 1.03 (-0.08) 1.03 (-0.13) 3.16 (-0.05)
c04c20 1.03 (+0.01) 1.12 (+0.02) 1.18 (+0.06) 3.33 (+0.03)
827ee1 1.02 (-0.09) 1.10 (-0.02) 1.11 (+0.06) 3.23 (-0.02)
22ae67 1.12 (+0.01) 1.12 (+0.07) 1.04 (+0.01) 3.29 (+0.03)
0f4458 1.11 (+0.00) 1.05 (-0.04) 1.03 (-0.00) 3.19 (-0.01)
0f4458 1.11 (+0.07) 1.10 (-0.01) 1.03 (+0.00) 3.24 (+0.02)
0f4458 1.04 (-0.04) 1.11 (-0.00) 1.03 (+0.01) 3.18 (-0.01)
b8a566 1.08 (-0.02) 1.11 (-0.06) 1.02 (-0.00) 3.21 (-0.03)
b8a566 1.10 (+0.08) 1.18 (+0.06) 1.02 (-0.08) 3.31 (+0.02)
9747e9 1.02 (+0.47) 1.11 (+0.48) 1.11 (+0.80) 3.24 (+0.57)
b50e07 0.70 (-0.04) 0.75 (+0.20) 0.62 (-0.04) 2.07 (+0.04)
6a57d5 0.73 (+0.19) 0.63 (+0.04) 0.64 (+0.01) 2.00 (+0.08)
c0480f 0.61 (-0.05) 0.60 (-0.07) 0.63 (+0.01) 1.85 (-0.03)
4f443c 0.64 (+0.04) 0.65 (+0.05) 0.62 (+0.01) 1.91 (+0.03)
4f443c 0.61 (-0.01) 0.62 (+0.02) 0.62 (+0.01) 1.85 (+0.00)
788823 0.62 (-0.01) 0.61 (-0.07) 0.62 (-0.01) 1.84 (-0.04)
c21104 0.63 (+0.03) 0.66 (-0.04) 0.63 (-0.11) 1.92 (-0.05)
b9544a 0.61 (-0.05) 0.69 (+0.11) 0.71 (+0.10) 2.01 (+0.05)
33834c 0.64 (+0.05) 0.62 (-0.06) 0.65 (+0.04) 1.91 (+0.01)
521667 0.61 (-0.03) 0.66 (+0.06) 0.62 (+0.02) 1.89 (+0.02)
361648 0.63 (+0.01) 0.62 (-0.09) 0.61 (-0.15) 1.86 (-0.08)
fc0629 0.63 0.68 0.72 2.03

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query42]

platform: rds-postgres

revision Q42/1 Q42/2 Q42/3 total_duration
41aa62 1.17 (+0.01) 1.26 (+0.01) 1.17 (-0.05) 3.60 (-0.01)
7b5489 1.16 (-0.01) 1.25 (+0.07) 1.23 (-0.04) 3.65 (+0.01)
a23b07 1.17 (-0.00) 1.17 (-0.05) 1.28 (+0.04) 3.62 (-0.00)
cc2d00 1.17 (-0.02) 1.23 (-0.05) 1.23 (+0.05) 3.63 (-0.01)
ba9df2 1.20 (-0.04) 1.30 (-0.01) 1.18 (+0.01) 3.67 (-0.02)
a8f354 1.25 (+0.07) 1.31 (+0.04) 1.17 (-0.01) 3.74 (+0.04)
7feb0d 1.17 (-0.04) 1.26 (+0.09) 1.18 (-0.05) 3.61 (-0.00)
982fce 1.22 (+0.02) 1.16 (-0.06) 1.24 (+0.02) 3.62 (-0.01)
1f151d 1.20 (+0.04) 1.24 (+0.06) 1.21 (-0.02) 3.65 (+0.03)
ff1a1a 1.15 (+0.00) 1.17 (+0.02) 1.23 (-0.00) 3.55 (+0.01)
b1477b 1.15 (-0.01) 1.15 (-0.07) 1.23 (+0.07) 3.53 (-0.01)
1b947f 1.16 (+0.01) 1.24 (+0.00) 1.15 (-0.00) 3.56 (+0.00)
a21b55 1.15 (-0.02) 1.24 (+0.01) 1.15 (-0.06) 3.55 (-0.03)
4ba950 1.18 (-0.05) 1.23 (-0.04) 1.23 (-0.01) 3.64 (-0.03)
4e359d 1.24 (+0.07) 1.28 (-0.02) 1.24 (+0.00) 3.76 (+0.02)
3837fc 1.16 (-0.07) 1.31 (+0.14) 1.23 (-0.00) 3.70 (+0.02)
edcf4d 1.25 (+0.07) 1.15 (-0.12) 1.23 (+0.06) 3.63 (-0.00)
411c71 1.17 (+0.00) 1.31 (-0.02) 1.16 (-0.06) 3.63 (-0.03)
854348 1.17 (-0.04) 1.34 (+0.15) 1.23 (-0.00) 3.75 (+0.03)
7ba5c2 1.22 (+0.09) 1.17 (+0.05) 1.23 (+0.02) 3.62 (+0.05)
ebea29 1.12 (+0.01) 1.11 (-0.07) 1.20 (+0.07) 3.44 (+0.00)
22c890 1.11 (-0.00) 1.20 (+0.08) 1.12 (-0.06) 3.43 (+0.00)
f0b2e0 1.11 (-0.02) 1.11 (-0.01) 1.19 (-0.21) 3.42 (-0.09)
dec580 1.13 (+0.02) 1.12 (+0.01) 1.50 (+0.25) 3.75 (+0.10)
dec580 1.11 (-0.01) 1.11 (-0.01) 1.20 (+0.08) 3.42 (+0.02)
b1c2a6 1.12 (-0.05) 1.12 (+0.01) 1.11 (-0.07) 3.36 (-0.03)
931094 1.17 (+0.05) 1.11 (-0.01) 1.19 (-0.08) 3.48 (-0.01)
957acb 1.12 (-0.00) 1.12 (-0.12) 1.29 (+0.08) 3.52 (-0.02)
846532 1.12 (+0.00) 1.27 (+0.06) 1.19 (+0.07) 3.59 (+0.05)
d733bc 1.12 (+0.00) 1.20 (-0.12) 1.11 (-0.00) 3.43 (-0.05)
75ffe3 1.12 (-0.14) 1.36 (+0.15) 1.11 (-0.07) 3.60 (-0.02)
75ffe3 1.30 (+0.17) 1.18 (+0.06) 1.19 (-0.08) 3.68 (+0.05)
bf4623 1.11 (+0.00) 1.11 (+0.01) 1.29 (-0.02) 3.51 (-0.00)
b26c83 1.11 (-0.01) 1.10 (-0.10) 1.31 (+0.17) 3.52 (+0.02)
9d714a 1.12 (+0.00) 1.23 (+0.11) 1.12 (-0.11) 3.46 (-0.01)
6efea4 1.11 (+0.01) 1.11 (+0.01) 1.26 (+0.07) 3.49 (+0.03)
4071ff 1.10 (-0.01) 1.10 (-0.08) 1.18 (+0.00) 3.38 (-0.03)
4071ff 1.11 (+0.00) 1.19 (+0.07) 1.18 (-0.01) 3.48 (+0.02)
870ba4 1.11 (-0.00) 1.11 (-0.06) 1.19 (-0.01) 3.41 (-0.02)
f5ca89 1.11 (-0.02) 1.18 (+0.06) 1.20 (+0.00) 3.50 (+0.01)
8bd565 1.14 (+0.02) 1.12 (+0.01) 1.20 (+0.06) 3.45 (+0.03)
dd22c8 1.11 (+0.00) 1.11 (-0.01) 1.13 (-0.09) 3.35 (-0.03)
299db9 1.11 (-0.01) 1.12 (+0.01) 1.24 (+0.04) 3.46 (+0.01)
93f3f4 1.12 (-0.09) 1.11 (-0.07) 1.19 (-0.01) 3.42 (-0.06)
f6e2e0 1.23 (+0.10) 1.20 (-0.02) 1.20 (-0.01) 3.62 (+0.02)
f6e2e0 1.12 (+0.01) 1.22 (+0.10) 1.21 (+0.01) 3.55 (+0.04)
f6e2e0 1.11 (-0.00) 1.11 (-0.07) 1.19 (+0.07) 3.41 (-0.00)
f1d960 1.11 (-0.04) 1.19 (+0.07) 1.11 (-0.08) 3.41 (-0.02)
4a9279 1.16 (+0.04) 1.11 (-0.00) 1.21 (+0.08) 3.48 (+0.04)
2e4bf7 1.11 (-0.01) 1.12 (-0.12) 1.12 (-0.06) 3.35 (-0.06)
ce8fbb 1.12 (-0.05) 1.27 (+0.06) 1.19 (-0.10) 3.58 (-0.03)
ce8fbb 1.18 (+0.05) 1.19 (+0.03) 1.32 (+0.11) 3.70 (+0.07)
ce8fbb 1.12 (+0.00) 1.15 (+0.03) 1.19 (-0.00) 3.46 (+0.01)
d1a0f2 1.12 (+0.00) 1.12 (-0.06) 1.20 (+0.00) 3.43 (-0.02)
ccf92d 1.12 (+0.00) 1.19 (+0.07) 1.20 (+0.00) 3.51 (+0.02)
02b8e0 1.12 (-0.06) 1.11 (-0.13) 1.20 (+0.08) 3.42 (-0.04)
7b9057 1.19 (+0.06) 1.28 (+0.07) 1.11 (-0.04) 3.57 (+0.03)
9cada8 1.12 (+0.00) 1.20 (-0.04) 1.16 (-0.00) 3.48 (-0.01)
9cada8 1.11 (-0.04) 1.25 (+0.13) 1.16 (-0.02) 3.53 (+0.02)
9cada8 1.16 (-0.02) 1.10 (-0.11) 1.18 (-0.05) 3.45 (-0.06)
a60f68 1.18 (-0.15) 1.24 (+0.11) 1.24 (+0.04) 3.67 (-0.01)
d19c52 1.40 (+0.26) 1.12 (-0.07) 1.19 (+0.07) 3.71 (+0.08)
000eb1 1.11 (-0.01) 1.20 (+0.09) 1.11 (-0.06) 3.42 (+0.00)
000eb1 1.13 (+0.01) 1.10 (-0.01) 1.18 (-0.01) 3.42 (-0.00)
f51b48 1.11 (-0.07) 1.11 (+0.01) 1.19 (+0.01) 3.42 (-0.02)
f51b48 1.19 (+0.07) 1.10 (-0.12) 1.18 (+0.06) 3.48 (+0.00)
f51b48 1.11 (+0.01) 1.26 (+0.14) 1.11 (-0.02) 3.47 (+0.04)
9f906f 1.10 (-0.07) 1.11 (-0.04) 1.13 (-0.10) 3.34 (-0.07)
0692ff 1.18 (+0.06) 1.16 (-0.08) 1.26 (+0.10) 3.60 (+0.02)
2caece 1.12 (-0.00) 1.26 (+0.06) 1.15 (+0.02) 3.52 (+0.02)
bc7d3c 1.12 (+0.01) 1.19 (+0.00) 1.13 (-0.04) 3.44 (-0.01)
2153d2 1.11 (+0.00) 1.19 (-0.05) 1.18 (-0.04) 3.49 (-0.03)
2153d2 1.11 (+0.01) 1.25 (+0.14) 1.23 (+0.03) 3.59 (+0.06)
2153d2 1.10 (-0.02) 1.10 (-0.02) 1.19 (+0.07) 3.39 (+0.01)
a1b062 1.12 (-0.09) 1.13 (-0.05) 1.11 (-0.07) 3.36 (-0.07)
1d9d7c 1.23 (+0.09) 1.19 (-0.01) 1.20 (+0.08) 3.62 (+0.05)
3569c1 1.13 (+0.01) 1.20 (-0.05) 1.11 (-0.10) 3.45 (-0.04)
eaff14 1.12 (+0.01) 1.26 (+0.14) 1.23 (+0.11) 3.61 (+0.09)
f383b4 1.11 (-0.01) 1.10 (-0.07) 1.10 (-0.08) 3.32 (-0.05)
f383b4 1.12 (-0.11) 1.18 (-0.07) 1.19 (+0.08) 3.50 (-0.04)
f383b4 1.26 (+0.13) 1.27 (+0.07) 1.11 (-0.06) 3.64 (+0.04)
a4256b 1.11 (-0.01) 1.19 (+0.06) 1.18 (-0.02) 3.48 (+0.01)
371493 1.12 (-0.13) 1.12 (-0.05) 1.21 (+0.10) 3.45 (-0.03)
c5c143 1.28 (+0.15) 1.18 (+0.06) 1.10 (-0.17) 3.56 (+0.00)
58fa4f 1.12 (+0.00) 1.11 (+0.00) 1.33 (+0.13) 3.56 (+0.05)
121d53 1.11 (-0.00) 1.11 (-0.01) 1.18 (-0.00) 3.41 (-0.00)
121d53 1.11 (-0.00) 1.12 (-0.06) 1.19 (+0.00) 3.42 (-0.02)
ec3a3a 1.11 (-0.00) 1.19 (-0.09) 1.19 (-0.01) 3.50 (-0.03)
96e783 1.11 (+0.00) 1.31 (+0.18) 1.20 (-0.03) 3.62 (+0.05)
567b71 1.11 (+0.00) 1.11 (-0.22) 1.24 (+0.04) 3.46 (-0.07)
847fc5 1.11 (-0.00) 1.42 (+0.28) 1.19 (-0.01) 3.72 (+0.09)
5e08b3 1.11 (-0.01) 1.11 (-0.07) 1.20 (-0.00) 3.43 (-0.03)
4d291d 1.12 (+0.00) 1.20 (+0.09) 1.20 (-0.03) 3.52 (+0.02)
4d291d 1.12 (+0.02) 1.11 (-0.09) 1.24 (+0.04) 3.47 (-0.01)
bf63f1 1.10 (+0.00) 1.21 (+0.10) 1.19 (+0.08) 3.51 (+0.06)
0a0958 1.10 (-0.01) 1.10 (-0.00) 1.10 (-0.07) 3.31 (-0.03)
aabca5 1.11 (+0.00) 1.10 (-0.00) 1.18 (+0.01) 3.40 (+0.00)
a4be54 1.11 (-0.00) 1.10 (+0.00) 1.17 (-0.05) 3.39 (-0.01)
a3d7ad 1.11 (+0.01) 1.10 (-0.13) 1.23 (-0.00) 3.44 (-0.05)
a3d7ad 1.10 (+0.00) 1.26 (+0.14) 1.24 (+0.14) 3.60 (+0.09)
8ba169 1.10 (-0.00) 1.11 (+0.01) 1.09 (-0.07) 3.29 (-0.02)
e5cc2f 1.10 (+0.01) 1.10 (-0.11) 1.17 (+0.00) 3.37 (-0.04)
c6b56d 1.09 (-0.02) 1.24 (+0.15) 1.16 (+0.06) 3.49 (+0.06)
e067cd 1.12 (+0.02) 1.08 (-0.02) 1.10 (-0.06) 3.30 (-0.02)
bce423 1.09 (+0.00) 1.10 (+0.00) 1.17 (+0.01) 3.37 (+0.01)
bce423 1.09 (-0.08) 1.10 (+0.00) 1.16 (-0.01) 3.35 (-0.03)
c28bfd 1.18 (-0.02) 1.10 (+0.01) 1.17 (-0.02) 3.45 (-0.01)
95bf19 1.21 (+0.10) 1.09 (-0.13) 1.19 (+0.07) 3.49 (+0.01)
95bf19 1.10 (-0.00) 1.25 (-0.00) 1.12 (-0.06) 3.46 (-0.02)
080752 1.10 (-0.06) 1.25 (+0.13) 1.19 (+0.09) 3.54 (+0.05)
23d5e2 1.17 (+0.07) 1.11 (+0.01) 1.10 (-0.01) 3.37 (+0.02)
23d5e2 1.10 (+0.00) 1.10 (-0.12) 1.11 (-0.05) 3.32 (-0.06)
8b710b 1.10 (-0.00) 1.25 (+0.13) 1.17 (-0.13) 3.52 (-0.01)
8c6e60 1.10 (-0.00) 1.10 (-0.09) 1.35 (+0.24) 3.56 (+0.04)
10dae7 1.10 (+0.00) 1.21 (+0.05) 1.09 (-0.08) 3.41 (-0.01)
4c4d3d 1.10 (-0.01) 1.15 (+0.01) 1.19 (+0.01) 3.44 (+0.00)
9f94d0 1.11 (-0.00) 1.14 (+0.03) 1.18 (+0.01) 3.43 (+0.01)
9f94d0 1.11 (-0.04) 1.10 (-0.00) 1.17 (-0.00) 3.39 (-0.01)
9f94d0 1.15 (+0.04) 1.10 (-0.10) 1.18 (-0.02) 3.43 (-0.03)
c700c7 1.10 (-0.01) 1.22 (+0.01) 1.20 (+0.01) 3.53 (+0.01)
42c6dd 1.11 (-0.01) 1.20 (+0.01) 1.19 (+0.00) 3.50 (+0.00)
f6bf7b 1.12 (-0.06) 1.18 (+0.07) 1.18 (-0.00) 3.50 (+0.01)
1137b5 1.19 (+0.07) 1.10 (-0.00) 1.18 (+0.07) 3.47 (+0.04)
1468c6 1.11 (+0.00) 1.10 (-0.13) 1.10 (-0.07) 3.32 (-0.07)
1468c6 1.11 (-0.00) 1.26 (+0.14) 1.18 (-0.01) 3.55 (+0.04)
c01f92 1.11 (-0.08) 1.10 (-0.00) 1.19 (+0.01) 3.41 (-0.02)
7ff591 1.21 (+0.09) 1.11 (-0.01) 1.18 (+0.07) 3.49 (+0.05)
5d4774 1.11 (-0.06) 1.12 (+0.02) 1.10 (-0.06) 3.33 (-0.03)
56d8c2 1.18 (+0.03) 1.10 (+0.01) 1.17 (-0.00) 3.45 (+0.01)
12e6f4 1.15 (+0.04) 1.09 (-0.09) 1.17 (-0.00) 3.41 (-0.02)
12e6f4 1.10 (+0.01) 1.20 (+0.03) 1.18 (+0.01) 3.48 (+0.01)
61194a 1.09 (-0.01) 1.17 (+0.07) 1.17 (-0.01) 3.43 (+0.02)
70ce01 1.10 (-0.00) 1.09 (-0.03) 1.18 (+0.06) 3.38 (+0.01)
c04c20 1.10 (-0.06) 1.12 (+0.01) 1.12 (+0.01) 3.34 (-0.01)
827ee1 1.17 (+0.01) 1.10 (-0.08) 1.11 (-0.08) 3.38 (-0.05)
22ae67 1.15 (+0.04) 1.19 (-0.13) 1.20 (+0.01) 3.55 (-0.03)
0f4458 1.11 (-0.14) 1.36 (+0.16) 1.19 (+0.01) 3.66 (+0.00)
0f4458 1.30 (+0.12) 1.17 (+0.06) 1.18 (-0.00) 3.65 (+0.06)
0f4458 1.16 (-0.01) 1.11 (+0.01) 1.18 (-0.00) 3.45 (-0.00)
b8a566 1.17 (+0.06) 1.10 (-0.06) 1.18 (-0.10) 3.46 (-0.03)
b8a566 1.10 (+0.01) 1.17 (-0.00) 1.31 (+0.20) 3.59 (+0.07)
9747e9 1.09 (+0.59) 1.17 (+0.70) 1.09 (+0.55) 3.36 (+0.62)
b50e07 0.69 (-0.00) 0.69 (-0.03) 0.70 (-0.01) 2.08 (-0.01)
6a57d5 0.69 (-0.01) 0.71 (-0.07) 0.71 (-0.21) 2.11 (-0.10)
c0480f 0.70 (+0.01) 0.76 (+0.06) 0.90 (+0.26) 2.36 (+0.11)
4f443c 0.69 (+0.01) 0.72 (-0.08) 0.71 (-0.00) 2.12 (-0.03)
4f443c 0.68 (-0.13) 0.78 (-0.03) 0.71 (+0.02) 2.18 (-0.04)
788823 0.78 (+0.11) 0.81 (+0.17) 0.69 (-0.02) 2.28 (+0.09)
c21104 0.70 (+0.01) 0.69 (-0.01) 0.71 (+0.01) 2.10 (+0.00)
b9544a 0.69 (+0.02) 0.69 (-0.00) 0.71 (+0.00) 2.10 (+0.01)
33834c 0.68 (-0.06) 0.69 (-0.00) 0.71 (+0.01) 2.08 (-0.02)
521667 0.72 (+0.00) 0.69 (-0.01) 0.71 (-0.07) 2.12 (-0.03)
361648 0.72 (-0.00) 0.70 (-0.01) 0.77 (+0.11) 2.18 (+0.03)
fc0629 0.72 0.71 0.70 2.13

Runs for test_runner/performance/test_perf_olap.py::test_tpch[query1]

platform: rds-postgres

revision Q1/1 total_duration
41aa62 74.12 (+0.03) 74.13 (+0.03)
7b5489 72.28 (-0.03) 72.29 (-0.03)
a23b07 74.19 (+0.00) 74.19 (+0.00)
cc2d00 73.83 (-0.00) 73.83 (-0.00)
ba9df2 73.95 (-0.00) 73.95 (-0.00)
a8f354 74.29 (+0.00) 74.29 (+0.00)
7feb0d 73.99 (-0.01) 73.99 (-0.01)
982fce 74.94 (+0.00) 74.94 (+0.00)
1f151d 74.83 (-0.01) 74.83 (-0.01)
ff1a1a 75.57 (+0.00) 75.57 (+0.00)
b1477b 75.20 (-0.01) 75.20 (-0.01)
1b947f 75.74 (-0.00) 75.74 (-0.00)
a21b55 75.98 (+0.01) 75.98 (+0.01)
4ba950 75.26 (-0.01) 75.26 (-0.01)
4e359d 75.69 (+0.00) 75.69 (+0.00)
3837fc 75.61 (+0.01) 75.61 (+0.01)
edcf4d 75.18 (-0.01) 75.19 (-0.01)
411c71 75.58 (-0.00) 75.58 (-0.00)
854348 75.90 (+0.01) 75.90 (+0.01)
7ba5c2 75.21 (+0.02) 75.21 (+0.02)
ebea29 73.56 (-0.00) 73.56 (-0.00)
22c890 73.63 (-0.00) 73.63 (-0.00)
f0b2e0 73.67 (-0.00) 73.68 (-0.00)
dec580 73.89 (+0.00) 73.89 (+0.00)
dec580 73.79 (+0.01) 73.79 (+0.01)
b1c2a6 73.36 (-0.00) 73.36 (-0.00)
931094 73.55 (-0.01) 73.55 (-0.01)
957acb 74.04 (+0.00) 74.04 (+0.00)
846532 73.86 (+0.00) 73.86 (+0.00)
d733bc 73.52 (+0.00) 73.52 (+0.00)
75ffe3 73.44 (-0.01) 73.44 (-0.01)
75ffe3 73.96 (+0.01) 73.96 (+0.01)
bf4623 72.91 (-0.03) 72.91 (-0.03)
b26c83 75.01 (+0.02) 75.01 (+0.02)
9d714a 73.20 (-0.01) 73.20 (-0.01)
6efea4 73.58 (+0.01) 73.58 (+0.01)
4071ff 73.16 (+0.00) 73.16 (+0.00)
4071ff 73.15 (-0.00) 73.15 (-0.00)
870ba4 73.16 (+0.00) 73.16 (+0.00)
f5ca89 73.03 (+0.00) 73.03 (+0.00)
8bd565 73.01 (-0.01) 73.01 (-0.01)
dd22c8 73.75 (+0.01) 73.75 (+0.01)
299db9 73.17 (-0.00) 73.17 (-0.00)
93f3f4 73.41 (+0.00) 73.41 (+0.00)
f6e2e0 73.12 (-0.00) 73.12 (-0.00)
f6e2e0 73.41 (+0.00) 73.42 (+0.00)
f6e2e0 73.22 (-0.00) 73.22 (-0.00)
f1d960 73.31 (+0.00) 73.31 (+0.00)
4a9279 73.10 (-0.00) 73.10 (-0.00)
2e4bf7 73.45 (+0.00) 73.45 (+0.00)
ce8fbb 73.42 (-0.00) 73.42 (-0.00)
ce8fbb 73.59 (+0.00) 73.59 (+0.00)
ce8fbb 73.31 (-0.01) 73.32 (-0.01)
d1a0f2 74.11 (+0.01) 74.11 (+0.01)
ccf92d 73.16 (+0.00) 73.16 (+0.00)
02b8e0 73.01 (+0.01) 73.01 (+0.01)
7b9057 72.20 (-0.02) 72.20 (-0.02)
9cada8 73.51 (+0.00) 73.51 (+0.00)
9cada8 73.37 (+0.01) 73.37 (+0.01)
9cada8 72.50 (-0.01) 72.50 (-0.01)
a60f68 73.44 (+0.01) 73.44 (+0.01)
d19c52 72.98 (-0.00) 72.98 (-0.00)
000eb1 73.15 (-0.00) 73.15 (-0.00)
000eb1 73.48 (+0.00) 73.48 (+0.00)
f51b48 73.37 (+0.01) 73.37 (+0.01)
f51b48 72.92 (+0.01) 72.92 (+0.01)
f51b48 72.18 (+0.00) 72.18 (+0.00)
9f906f 71.93 (-0.02) 71.93 (-0.02)
0692ff 73.34 (-0.01) 73.35 (-0.01)
2caece 73.86 (+0.00) 73.86 (+0.00)
bc7d3c 73.63 (+0.02) 73.63 (+0.02)
2153d2 71.87 (-0.07) 71.87 (-0.07)
2153d2 77.50 (+0.07) 77.50 (+0.07)
2153d2 72.18 (-0.02) 72.18 (-0.02)
a1b062 73.35 (-0.00) 73.35 (-0.00)
1d9d7c 73.50 (-0.01) 73.50 (-0.01)
3569c1 73.92 (+0.01) 73.92 (+0.01)
eaff14 73.13 (+0.02) 73.13 (+0.02)
f383b4 71.94 (+0.00) 71.94 (+0.00)
f383b4 71.72 (-0.01) 71.72 (-0.01)
f383b4 72.23 (-0.01) 72.24 (-0.01)
a4256b 73.30 (-0.00) 73.30 (-0.00)
371493 73.55 (+0.00) 73.55 (+0.00)
c5c143 73.25 (+0.00) 73.25 (+0.00)
58fa4f 72.99 (-0.01) 72.99 (-0.01)
121d53 73.75 (+0.02) 73.75 (+0.02)
121d53 71.98 (-0.02) 71.99 (-0.02)
ec3a3a 73.81 (+0.01) 73.81 (+0.01)
96e783 72.94 (-0.00) 72.94 (-0.00)
567b71 73.26 (-0.00) 73.26 (-0.00)
847fc5 73.61 (+0.01) 73.61 (+0.01)
5e08b3 73.16 (-0.00) 73.16 (-0.00)
4d291d 73.28 (-0.00) 73.28 (-0.00)
4d291d 73.48 (+0.00) 73.48 (+0.00)
bf63f1 73.43 (-0.00) 73.43 (-0.00)
0a0958 73.50 (+0.01) 73.50 (+0.01)
aabca5 72.86 (-0.01) 72.86 (-0.01)
a4be54 73.47 (+0.01) 73.47 (+0.01)
a3d7ad 72.98 (-0.01) 72.98 (-0.01)
a3d7ad 73.64 (+0.01) 73.64 (+0.01)
8ba169 72.95 (-0.01) 72.95 (-0.01)
e5cc2f 73.39 (+0.01) 73.39 (+0.01)
c6b56d 72.95 (-0.00) 72.95 (-0.00)
e067cd 73.00 (+0.00) 73.00 (+0.00)
bce423 72.99 (+0.01) 72.99 (+0.01)
bce423 71.96 (-0.01) 71.96 (-0.01)
c28bfd 72.50 (+0.01) 72.50 (+0.01)
95bf19 71.82 (-0.02) 71.82 (-0.02)
95bf19 73.55 (+0.01) 73.55 (+0.01)
080752 72.94 (+0.00) 72.94 (+0.00)
23d5e2 72.85 (+0.01) 72.85 (+0.01)
23d5e2 71.86 (-0.03) 71.86 (-0.03)
8b710b 74.06 (+0.01) 74.06 (+0.01)
8c6e60 73.42 (+0.02) 73.42 (+0.02)
10dae7 72.03 (-0.03) 72.03 (-0.03)
4c4d3d 74.08 (+0.01) 74.08 (+0.01)
9f94d0 73.17 (-0.01) 73.18 (-0.01)
9f94d0 73.57 (+0.01) 73.57 (+0.01)
9f94d0 73.06 (+0.00) 73.06 (+0.00)
c700c7 73.04 (-0.01) 73.04 (-0.01)
42c6dd 73.46 (+0.01) 73.46 (+0.01)
f6bf7b 73.08 (-0.00) 73.08 (-0.00)
1137b5 73.40 (-0.00) 73.40 (-0.00)
1468c6 73.47 (+0.00) 73.47 (+0.00)
1468c6 73.39 (+0.01) 73.40 (+0.01)
c01f92 72.69 (-0.00) 72.69 (-0.00)
7ff591 72.91 (-0.00) 72.91 (-0.00)
5d4774 73.02 (+0.00) 73.03 (+0.00)
56d8c2 72.92 (-0.01) 72.92 (-0.01)
12e6f4 73.78 (-0.02) 73.78 (-0.02)
12e6f4 75.00 (+0.03) 75.00 (+0.03)
12e6f4 73.10 (+0.01) 73.10 (+0.01)
61194a 72.32 (-0.01) 72.32 (-0.01)
70ce01 72.90 (-0.01) 72.90 (-0.01)
c04c20 73.62 (+0.00) 73.62 (+0.00)
827ee1 73.51 (+0.01) 73.51 (+0.01)
22ae67 73.14 (-0.00) 73.14 (-0.00)
0f4458 73.43 (+0.02) 73.43 (+0.02)
0f4458 71.96 (+9.34) 71.96 (+2.39)
83faef 6.96 21.20

Runs for test_runner/performance/test_perf_olap.py::test_tpch[query2]

platform: rds-postgres

revision Q2/1 total_duration
41aa62 19.21 (-0.02) 19.21 (-0.02)
7b5489 19.64 (+0.08) 19.64 (+0.08)
a23b07 18.22 (-0.05) 18.22 (-0.05)
cc2d00 19.17 (+0.06) 19.17 (+0.06)
ba9df2 18.01 (+0.01) 18.01 (+0.01)
a8f354 17.79 (-0.04) 17.79 (-0.04)
7feb0d 18.58 (-0.02) 18.58 (-0.02)
982fce 18.87 (-0.01) 18.87 (-0.01)
1f151d 19.13 (+0.00) 19.13 (+0.00)
ff1a1a 19.07 (-0.01) 19.07 (-0.01)
b1477b 19.34 (+0.00) 19.35 (+0.00)
1b947f 19.29 (-0.01) 19.29 (-0.01)
a21b55 19.47 (+0.07) 19.47 (+0.07)
4ba950 18.23 (-0.06) 18.23 (-0.06)
4e359d 19.38 (+0.11) 19.38 (+0.11)
3837fc 17.54 (-0.00) 17.54 (-0.00)
edcf4d 17.55 (-0.12) 17.55 (-0.12)
411c71 19.97 (+0.04) 19.98 (+0.04)
854348 19.17 (+0.00) 19.17 (+0.00)
7ba5c2 19.08 (+0.04) 19.08 (+0.04)
ebea29 18.31 (-0.05) 18.31 (-0.05)
22c890 19.32 (+0.03) 19.33 (+0.03)
f0b2e0 18.68 (-0.00) 18.68 (-0.00)
dec580 18.72 (-0.02) 18.73 (-0.02)
dec580 19.16 (-0.01) 19.16 (-0.01)
b1c2a6 19.29 (-0.01) 19.29 (-0.01)
931094 19.40 (+0.02) 19.40 (+0.02)
957acb 19.00 (-0.00) 19.00 (-0.00)
846532 19.07 (+0.02) 19.07 (+0.02)
d733bc 18.67 (+0.08) 18.67 (+0.08)
75ffe3 17.33 (-0.09) 17.34 (-0.09)
75ffe3 19.13 (+0.02) 19.13 (+0.02)
bf4623 18.69 (+0.07) 18.70 (+0.07)
b26c83 17.53 (-0.07) 17.53 (-0.07)
9d714a 18.83 (+0.09) 18.83 (+0.09)
6efea4 17.35 (-0.01) 17.35 (-0.01)
4071ff 17.50 (-0.08) 17.50 (-0.08)
4071ff 18.92 (+0.09) 18.92 (+0.09)
870ba4 17.36 (-0.09) 17.36 (-0.09)
f5ca89 19.02 (+0.01) 19.02 (+0.01)
8bd565 18.86 (-0.02) 18.86 (-0.02)
dd22c8 19.18 (+0.01) 19.18 (+0.00)
299db9 19.08 (-0.00) 19.09 (-0.00)
93f3f4 19.17 (+0.00) 19.17 (+0.00)
f6e2e0 19.08 (-0.00) 19.08 (-0.00)
f6e2e0 19.11 (+0.10) 19.11 (+0.10)
f6e2e0 17.43 (-0.08) 17.43 (-0.08)
f1d960 18.93 (-0.01) 18.93 (-0.01)
4a9279 19.07 (-0.00) 19.07 (-0.00)
2e4bf7 19.08 (+0.01) 19.08 (+0.01)
ce8fbb 18.94 (+0.05) 18.94 (+0.05)
ce8fbb 17.96 (-0.03) 17.96 (-0.03)
ce8fbb 18.43 (-0.04) 18.43 (-0.04)
d1a0f2 19.20 (+0.01) 19.20 (+0.01)
ccf92d 19.01 (-0.01) 19.01 (-0.01)
02b8e0 19.14 (+0.00) 19.14 (+0.00)
7b9057 19.05 (+0.08) 19.05 (+0.08)
9cada8 17.56 (-0.08) 17.56 (-0.08)
9cada8 19.16 (+0.06) 19.16 (+0.06)
9cada8 18.10 (-0.05) 18.10 (-0.05)
a60f68 18.96 (+0.02) 18.96 (+0.02)
d19c52 18.57 (-0.04) 18.57 (-0.04)
000eb1 19.25 (+0.00) 19.25 (+0.00)
000eb1 19.17 (+0.04) 19.17 (+0.04)
f51b48 18.37 (-0.02) 18.37 (-0.02)
f51b48 18.74 (+0.08) 18.74 (+0.08)
f51b48 17.29 (-0.02) 17.29 (-0.02)
9f906f 17.67 (-0.08) 17.67 (-0.08)
0692ff 19.25 (+0.11) 19.25 (+0.11)
2caece 17.27 (-0.11) 17.27 (-0.11)
bc7d3c 19.46 (+0.09) 19.46 (+0.09)
2153d2 17.92 (-0.14) 17.92 (-0.14)
2153d2 20.77 (+0.09) 20.77 (+0.09)
2153d2 19.03 (+0.02) 19.04 (+0.02)
a1b062 18.70 (+0.06) 18.70 (+0.06)
1d9d7c 17.63 (-0.00) 17.63 (-0.00)
3569c1 17.68 (-0.06) 17.69 (-0.06)
eaff14 18.85 (-0.02) 18.85 (-0.02)
f383b4 19.16 (+0.00) 19.16 (+0.00)
f383b4 19.16 (+0.12) 19.16 (+0.12)
f383b4 17.17 (-0.07) 17.17 (-0.08)
a4256b 18.56 (-0.03) 18.56 (-0.03)
371493 19.12 (+0.01) 19.12 (+0.01)
c5c143 19.01 (+0.01) 19.01 (+0.01)
58fa4f 18.83 (-0.02) 18.83 (-0.02)
121d53 19.19 (+0.02) 19.19 (+0.02)
121d53 18.78 (+0.01) 18.78 (+0.01)
ec3a3a 18.63 (+0.08) 18.63 (+0.08)
96e783 17.31 (-0.01) 17.31 (-0.01)
567b71 17.49 (-0.01) 17.49 (-0.01)
847fc5 17.60 (-0.10) 17.60 (-0.10)
5e08b3 19.45 (+0.11) 19.45 (+0.11)
4d291d 17.51 (-0.11) 17.51 (-0.11)
4d291d 19.77 (+0.13) 19.77 (+0.13)
bf63f1 17.44 (-0.00) 17.44 (-0.00)
0a0958 17.47 (-0.10) 17.47 (-0.10)
aabca5 19.42 (+0.12) 19.42 (+0.12)
a4be54 17.33 (-0.08) 17.33 (-0.08)
a3d7ad 18.74 (+0.07) 18.75 (+0.08)
a3d7ad 17.44 (-0.06) 17.44 (-0.06)
8ba169 18.63 (-0.02) 18.63 (-0.02)
e5cc2f 19.09 (-0.01) 19.09 (-0.01)
c6b56d 19.21 (+0.03) 19.21 (+0.03)
e067cd 18.66 (+0.08) 18.66 (+0.08)
bce423 17.32 (+0.00) 17.32 (+0.00)
bce423 17.27 (-0.11) 17.27 (-0.11)
c28bfd 19.40 (+0.00) 19.40 (+0.00)
95bf19 19.37 (+0.08) 19.37 (+0.08)
95bf19 17.99 (-0.04) 17.99 (-0.04)
080752 18.75 (+0.05) 18.76 (+0.05)
23d5e2 17.82 (-0.04) 17.82 (-0.04)
23d5e2 18.62 (-0.06) 18.62 (-0.06)
8b710b 19.90 (+0.05) 19.90 (+0.05)
8c6e60 18.90 (+0.08) 18.90 (+0.08)
10dae7 17.50 (-0.07) 17.50 (-0.07)
4c4d3d 18.78 (-0.01) 18.78 (-0.01)
9f94d0 18.90 (-0.03) 18.90 (-0.03)
9f94d0 19.47 (+0.01) 19.47 (+0.01)
9f94d0 19.27 (+0.03) 19.27 (+0.03)
c700c7 18.71 (-0.03) 18.72 (-0.03)
42c6dd 19.30 (+0.09) 19.31 (+0.09)
f6bf7b 17.73 (-0.08) 17.73 (-0.08)
1137b5 19.35 (+0.03) 19.35 (+0.03)
1468c6 18.81 (-0.02) 18.81 (-0.02)
1468c6 19.28 (+0.09) 19.28 (+0.09)
c01f92 17.77 (-0.08) 17.77 (-0.08)
7ff591 19.42 (+0.10) 19.42 (+0.10)
5d4774 17.67 (-0.09) 17.67 (-0.09)
56d8c2 19.37 (+0.00) 19.37 (+0.00)
12e6f4 19.28 (+0.10) 19.28 (+0.10)
12e6f4 17.49 (-0.07) 17.49 (-0.07)
12e6f4 18.79 (-0.02) 18.79 (-0.02)
61194a 19.20 (+0.07) 19.21 (+0.07)
70ce01 17.92 (-0.06) 17.92 (-0.06)
c04c20 19.00 (+0.01) 19.00 (+0.01)
827ee1 18.81 (-0.03) 18.81 (-0.03)
22ae67 19.45 (+0.02) 19.45 (+0.02)
0f4458 19.04 (+0.09) 19.04 (+0.09)
0f4458 17.46 (+36.17) 17.46 (+11.13)
83faef 0.47 1.44

Runs for test_runner/performance/test_perf_olap.py::test_tpch[query3]

platform: rds-postgres

revision Q3/1 total_duration
41aa62 107.01 (-0.00) 107.01 (-0.00)
7b5489 107.01 (-0.00) 107.01 (-0.00)
a23b07 107.02 (-0.00) 107.03 (-0.00)
cc2d00 107.05 (-0.00) 107.05 (-0.00)
ba9df2 107.06 (-0.00) 107.06 (-0.00)
a8f354 107.06 (-0.01) 107.07 (-0.01)
7feb0d 107.82 (+0.01) 107.82 (+0.01)
982fce 107.22 (-0.01) 107.22 (-0.01)
1f151d 107.78 (+0.00) 107.78 (+0.00)
ff1a1a 107.39 (-0.00) 107.39 (-0.00)
b1477b 107.57 (+0.00) 107.57 (+0.00)
1b947f 107.27 (-0.01) 107.27 (-0.01)
a21b55 107.93 (+0.01) 107.93 (+0.01)
4ba950 107.25 (-0.00) 107.25 (-0.00)
4e359d 107.41 (+0.00) 107.41 (+0.00)
3837fc 107.33 (-0.01) 107.33 (-0.01)
edcf4d 107.92 (+0.01) 107.93 (+0.01)
411c71 107.33 (-0.00) 107.33 (-0.00)
854348 107.35 (-0.00) 107.35 (-0.00)
7ba5c2 107.76 (+0.00) 107.76 (+0.00)
ebea29 107.25 (+0.00) 107.25 (+0.00)
22c890 107.22 (-0.00) 107.22 (-0.00)
f0b2e0 107.49 (+0.00) 107.49 (+0.00)
dec580 107.36 (-0.00) 107.37 (-0.00)
dec580 107.42 (+0.00) 107.42 (+0.00)
b1c2a6 107.05 (-0.00) 107.05 (-0.00)
931094 107.13 (-0.00) 107.13 (-0.00)
957acb 107.61 (-0.00) 107.61 (-0.00)
846532 107.92 (+0.01) 107.92 (+0.01)
d733bc 107.36 (-0.00) 107.36 (-0.00)
75ffe3 107.64 (+0.00) 107.64 (+0.00)
75ffe3 107.19 (+0.00) 107.19 (+0.00)
bf4623 107.07 (+0.00) 107.07 (+0.00)
b26c83 107.00 (-0.01) 107.00 (-0.01)
9d714a 107.65 (+0.00) 107.65 (+0.00)
6efea4 107.13 (-0.01) 107.13 (-0.01)
4071ff 107.79 (-0.00) 107.79 (-0.00)
4071ff 107.97 (+0.00) 107.97 (+0.00)
870ba4 107.95 (+0.00) 107.95 (+0.00)
f5ca89 107.78 (+0.00) 107.78 (+0.00)
8bd565 107.50 (-0.00) 107.50 (-0.00)
dd22c8 107.63 (+0.00) 107.63 (+0.00)
299db9 107.36 (-0.00) 107.36 (-0.00)
93f3f4 107.48 (-0.01) 107.48 (-0.01)
f6e2e0 108.05 (-0.00) 108.05 (-0.00)
f6e2e0 108.12 (+0.00) 108.12 (+0.00)
f6e2e0 107.94 (+0.00) 107.94 (+0.00)
f1d960 107.82 (+0.00) 107.82 (+0.00)
4a9279 107.76 (-0.00) 107.76 (-0.00)
2e4bf7 108.07 (+0.00) 108.08 (+0.00)
ce8fbb 107.62 (-0.00) 107.62 (-0.00)
ce8fbb 107.94 (+0.01) 107.94 (+0.01)
ce8fbb 107.32 (+0.00) 107.33 (+0.00)
d1a0f2 107.26 (-0.01) 107.26 (-0.01)
ccf92d 107.91 (-0.00) 107.91 (-0.00)
02b8e0 107.95 (-0.00) 107.96 (-0.00)
7b9057 107.96 (+0.01) 107.96 (+0.01)
9cada8 107.33 (+0.00) 107.33 (+0.00)
9cada8 107.28 (-0.01) 107.28 (-0.01)
9cada8 107.91 (+0.00) 107.91 (+0.00)
a60f68 107.61 (+0.00) 107.61 (+0.00)
d19c52 107.48 (-0.00) 107.48 (-0.00)
000eb1 107.89 (+0.00) 107.89 (+0.00)
000eb1 107.41 (+0.00) 107.41 (+0.00)
f51b48 107.31 (+0.00) 107.31 (+0.00)
f51b48 107.29 (-0.00) 107.29 (-0.00)
f51b48 107.42 (+0.00) 107.42 (+0.00)
9f906f 107.33 (-0.00) 107.33 (-0.00)
0692ff 107.33 (-0.00) 107.33 (-0.00)
2caece 107.36 (-0.00) 107.36 (-0.00)
bc7d3c 107.58 (-0.00) 107.58 (-0.00)
2153d2 107.83 (+0.00) 107.83 (+0.00)
2153d2 107.36 (-0.00) 107.36 (-0.00)
2153d2 107.47 (-0.00) 107.47 (-0.00)
a1b062 107.87 (-0.00) 107.87 (-0.00)
1d9d7c 108.00 (+0.01) 108.00 (+0.01)
3569c1 107.26 (-0.01) 107.26 (-0.01)
eaff14 107.85 (-0.00) 107.85 (-0.00)
f383b4 108.01 (+0.00) 108.01 (+0.00)
f383b4 107.91 (+0.01) 107.91 (+0.01)
f383b4 107.28 (-0.01) 107.28 (-0.01)
a4256b 108.08 (+0.01) 108.08 (+0.01)
371493 107.28 (-0.00) 107.28 (-0.00)
c5c143 107.49 (+0.00) 107.49 (+0.00)
58fa4f 107.37 (-0.00) 107.37 (-0.00)
121d53 107.42 (+0.00) 107.43 (+0.00)
121d53 107.39 (-0.00) 107.39 (-0.00)
ec3a3a 107.44 (-0.00) 107.45 (-0.00)
96e783 107.89 (+0.00) 107.89 (+0.00)
567b71 107.83 (+0.00) 107.84 (+0.00)
847fc5 107.33 (-0.00) 107.33 (-0.00)
5e08b3 107.60 (+0.00) 107.60 (+0.00)
4d291d 107.53 (+0.00) 107.53 (+0.00)
4d291d 107.39 (-0.00) 107.39 (-0.00)
bf63f1 107.93 (+0.01) 107.93 (+0.01)
0a0958 107.27 (-0.01) 107.27 (-0.01)
aabca5 107.91 (+0.00) 107.91 (+0.00)
a4be54 107.53 (-0.00) 107.53 (-0.00)
a3d7ad 107.87 (+0.01) 107.88 (+0.01)
a3d7ad 107.33 (-0.01) 107.33 (-0.01)
8ba169 108.07 (+0.00) 108.07 (+0.00)
e5cc2f 107.99 (+0.00) 107.99 (+0.00)
c6b56d 107.51 (-0.00) 107.51 (-0.00)
e067cd 107.90 (+0.00) 107.90 (+0.00)
bce423 107.57 (-0.00) 107.57 (-0.00)
bce423 107.89 (+0.00) 107.89 (+0.00)
c28bfd 107.62 (-0.00) 107.63 (-0.00)
95bf19 107.71 (+0.01) 107.71 (+0.01)
95bf19 107.16 (-0.00) 107.16 (-0.00)
080752 107.45 (-0.01) 107.45 (-0.01)
23d5e2 108.37 (-0.00) 108.38 (-0.00)
23d5e2 108.40 (+0.00) 108.40 (+0.00)
8b710b 108.19 (-0.00) 108.19 (-0.00)
8c6e60 108.45 (-0.00) 108.45 (-0.00)
10dae7 108.86 (+0.00) 108.86 (+0.00)
4c4d3d 108.52 (-0.00) 108.52 (-0.00)
9f94d0 108.87 (+0.00) 108.87 (+0.00)
9f94d0 108.34 (-0.00) 108.34 (-0.00)
9f94d0 108.88 (+0.01) 108.88 (+0.01)
c700c7 107.76 (+0.01) 107.76 (+0.01)
42c6dd 107.19 (-0.01) 107.19 (-0.01)
f6bf7b 108.79 (+0.00) 108.79 (+0.00)
1137b5 108.57 (+0.01) 108.57 (+0.01)
1468c6 108.00 (+0.00) 108.00 (+0.00)
1468c6 107.51 (+0.01) 107.51 (+0.01)
c01f92 106.84 (-0.00) 106.84 (-0.00)
7ff591 107.10 (-0.00) 107.10 (-0.00)
5d4774 107.37 (+0.00) 107.38 (+0.00)
56d8c2 107.00 (-0.00) 107.00 (-0.00)
12e6f4 107.07 (+0.09) 107.07 (+0.09)
12e6f4 98.51 (-0.08) 98.51 (-0.08)
12e6f4 107.49 (+0.01) 107.49 (+0.01)
61194a 106.84 (-0.01) 106.84 (-0.01)
70ce01 107.65 (+0.01) 107.65 (+0.01)
c04c20 107.04 (+0.00) 107.04 (+0.00)
827ee1 107.02 (-0.00) 107.02 (-0.00)
22ae67 107.50 (+0.01) 107.50 (+0.01)
0f4458 106.60 (+0.00) 106.61 (+0.00)
0f4458 106.49 (+130.39) 106.49 (+41.38)
83faef 0.81 2.51

Runs for test_runner/performance/test_perf_olap.py::test_tpch[query4]

platform: rds-postgres

revision Q4/1 total_duration
41aa62 83.26 (+0.01) 83.26 (+0.01)
7b5489 82.72 (-0.00) 82.73 (+0.00)
a23b07 82.72 (-0.01) 82.73 (-0.01)
cc2d00 83.28 (+0.00) 83.28 (+0.00)
ba9df2 83.25 (+0.00) 83.26 (+0.00)
a8f354 83.24 (+0.01) 83.24 (+0.01)
7feb0d 82.73 (-0.01) 82.73 (-0.01)
982fce 83.34 (+0.01) 83.35 (+0.01)
1f151d 82.79 (+0.00) 82.79 (+0.00)
ff1a1a 82.77 (-0.01) 82.77 (-0.01)
b1477b 83.34 (+0.00) 83.34 (+0.00)
1b947f 83.33 (+0.01) 83.34 (+0.01)
a21b55 82.76 (-0.01) 82.77 (-0.01)
4ba950 83.27 (-0.00) 83.27 (-0.00)
4e359d 83.28 (+0.01) 83.29 (+0.01)
3837fc 82.80 (+0.00) 82.80 (+0.00)
edcf4d 82.76 (-0.01) 82.77 (-0.01)
411c71 83.28 (+0.01) 83.28 (+0.01)
854348 82.82 (-0.01) 82.82 (-0.01)
7ba5c2 83.49 (+0.01) 83.49 (+0.01)
ebea29 82.79 (-0.01) 82.79 (-0.01)
22c890 83.31 (+0.01) 83.31 (+0.01)
f0b2e0 82.74 (-0.00) 82.74 (-0.00)
dec580 82.77 (+0.00) 82.78 (+0.00)
dec580 82.75 (-0.01) 82.75 (-0.01)
b1c2a6 83.28 (-0.00) 83.28 (-0.00)
931094 83.28 (+0.01) 83.28 (+0.01)
957acb 82.78 (-0.00) 82.78 (-0.00)
846532 82.80 (-0.01) 82.80 (-0.01)
d733bc 83.27 (+0.01) 83.27 (+0.01)
75ffe3 82.78 (-0.00) 82.78 (-0.00)
75ffe3 82.79 (-0.00) 82.79 (-0.00)
bf4623 83.08 (+0.00) 83.08 (+0.00)
b26c83 82.74 (-0.00) 82.74 (-0.00)
9d714a 82.78 (-0.00) 82.78 (-0.00)
6efea4 82.79 (+0.00) 82.79 (+0.00)
4071ff 82.76 (+0.00) 82.76 (+0.00)
4071ff 82.76 (+0.00) 82.76 (+0.00)
870ba4 82.74 (-0.00) 82.74 (-0.00)
f5ca89 82.80 (-0.01) 82.80 (-0.01)
8bd565 83.27 (+0.01) 83.27 (+0.01)
dd22c8 82.80 (-0.01) 82.80 (-0.01)
299db9 83.31 (+0.00) 83.31 (+0.00)
93f3f4 83.31 (+0.01) 83.31 (+0.01)
f6e2e0 82.83 (+0.00) 82.83 (+0.00)
f6e2e0 82.78 (+0.00) 82.78 (+0.00)
f6e2e0 82.77 (-0.00) 82.77 (-0.00)
f1d960 82.80 (+0.00) 82.80 (+0.00)
4a9279 82.75 (-0.00) 82.75 (-0.00)
2e4bf7 82.76 (-0.01) 82.76 (-0.01)
ce8fbb 83.27 (+0.00) 83.27 (+0.00)
ce8fbb 82.86 (-0.01) 82.86 (-0.01)
ce8fbb 83.30 (+0.00) 83.30 (+0.00)
d1a0f2 83.27 (+0.01) 83.27 (+0.01)
ccf92d 82.76 (+0.00) 82.76 (+0.00)
02b8e0 82.75 (-0.00) 82.76 (-0.00)
7b9057 82.77 (-0.01) 82.78 (-0.01)
9cada8 83.27 (-0.00) 83.27 (-0.00)
9cada8 83.27 (+0.01) 83.27 (+0.01)
9cada8 82.76 (-0.01) 82.76 (-0.01)
a60f68 83.34 (+0.01) 83.34 (+0.01)
d19c52 82.79 (+0.00) 82.79 (+0.00)
000eb1 82.78 (+0.00) 82.78 (+0.00)
000eb1 82.76 (-0.01) 82.76 (-0.01)
f51b48 83.28 (+0.00) 83.28 (+0.00)
f51b48 83.28 (+0.01) 83.28 (+0.01)
f51b48 82.80 (+0.00) 82.80 (+0.00)
9f906f 82.76 (-0.00) 82.76 (-0.00)
0692ff 82.80 (-0.01) 82.80 (-0.01)
2caece 83.34 (+0.00) 83.34 (+0.00)
bc7d3c 83.30 (+0.01) 83.30 (+0.01)
2153d2 82.76 (-0.01) 82.76 (-0.01)
2153d2 83.27 (+0.01) 83.27 (+0.01)
2153d2 82.75 (+0.00) 82.75 (+0.00)
a1b062 82.75 (-0.00) 82.75 (-0.00)
1d9d7c 82.77 (-0.01) 82.77 (-0.01)
3569c1 83.53 (+0.01) 83.54 (+0.01)
eaff14 82.76 (+0.00) 82.76 (+0.00)
f383b4 82.75 (+0.00) 82.75 (-0.00)
f383b4 82.75 (-0.01) 82.75 (-0.01)
f383b4 83.29 (+0.01) 83.29 (+0.01)
a4256b 82.76 (+0.00) 82.76 (+0.00)
371493 82.76 (-0.01) 82.76 (-0.01)
c5c143 83.27 (+0.01) 83.27 (+0.01)
58fa4f 82.75 (-0.00) 82.75 (-0.00)
121d53 82.77 (+0.00) 82.78 (+0.00)
121d53 82.75 (-0.00) 82.75 (-0.00)
ec3a3a 82.77 (+0.00) 82.77 (+0.00)
96e783 82.76 (-0.00) 82.76 (-0.00)
567b71 82.78 (-0.00) 82.79 (-0.00)
847fc5 82.79 (+0.00) 82.79 (+0.00)
5e08b3 82.75 (-0.01) 82.75 (-0.01)
4d291d 83.29 (+0.01) 83.29 (+0.01)
4d291d 82.79 (+0.00) 82.80 (+0.00)
bf63f1 82.79 (+0.00) 82.79 (+0.00)
0a0958 82.74 (-0.01) 82.74 (-0.01)
aabca5 83.24 (+0.01) 83.24 (+0.01)
a4be54 82.77 (+0.00) 82.77 (+0.00)
a3d7ad 82.75 (+0.00) 82.75 (+0.00)
a3d7ad 82.73 (-0.00) 82.73 (-0.00)
8ba169 82.75 (-0.00) 82.75 (-0.00)
e5cc2f 82.75 (+0.00) 82.75 (+0.00)
c6b56d 82.71 (-0.00) 82.71 (-0.00)
e067cd 82.73 (-0.01) 82.73 (-0.01)
bce423 83.25 (+0.01) 83.25 (+0.01)
bce423 82.75 (-0.00) 82.75 (-0.00)
c28bfd 82.80 (+0.00) 82.80 (+0.00)
95bf19 82.70 (-0.00) 82.70 (-0.00)
95bf19 82.73 (-0.01) 82.73 (-0.01)
080752 83.27 (+0.01) 83.27 (+0.01)
23d5e2 82.73 (-0.00) 82.74 (+0.00)
23d5e2 82.73 (-0.01) 82.73 (-0.01)
8b710b 83.25 (+0.01) 83.25 (+0.01)
8c6e60 82.76 (+0.00) 82.76 (+0.00)
10dae7 82.73 (-0.01) 82.74 (-0.01)
4c4d3d 83.25 (+0.01) 83.25 (+0.01)
9f94d0 82.73 (-0.01) 82.73 (-0.01)
9f94d0 83.27 (+0.01) 83.28 (+0.01)
9f94d0 82.74 (+0.00) 82.74 (+0.00)
c700c7 82.73 (+0.00) 82.74 (+0.00)
42c6dd 82.72 (-0.00) 82.72 (-0.00)
f6bf7b 82.74 (-0.01) 82.74 (-0.01)
1137b5 83.26 (+0.00) 83.26 (+0.00)
1468c6 83.26 (+0.00) 83.26 (+0.00)
1468c6 83.22 (-0.00) 83.22 (-0.00)
c01f92 83.23 (+0.01) 83.24 (+0.01)
7ff591 82.74 (+0.00) 82.74 (+0.00)
5d4774 82.73 (-0.01) 82.73 (-0.01)
56d8c2 83.25 (+0.01) 83.25 (+0.01)
12e6f4 82.71 (+0.10) 82.72 (+0.10)
12e6f4 75.07 (-0.09) 75.07 (-0.09)
12e6f4 82.72 (-0.01) 82.72 (-0.01)
61194a 83.21 (+0.01) 83.21 (+0.01)
70ce01 82.70 (-0.00) 82.70 (-0.00)
c04c20 82.71 (+0.00) 82.72 (+0.00)
827ee1 82.71 (-0.00) 82.71 (-0.00)
22ae67 82.76 (+0.01) 82.76 (+0.01)
0f4458 82.01 (-0.00) 82.01 (-0.00)
0f4458 82.03 (+109.11) 82.03 (+47.49)
83faef 0.74 1.69

Runs for test_runner/performance/test_perf_olap.py::test_tpch[query5]

platform: rds-postgres

revision Q5/1 total_duration
41aa62 99.12 (-0.00) 99.12 (-0.00)
7b5489 99.41 (-0.01) 99.41 (-0.01)
a23b07 99.95 (+0.01) 99.95 (+0.01)
cc2d00 99.34 (-0.00) 99.34 (-0.00)
ba9df2 99.69 (+0.00) 99.69 (+0.00)
a8f354 99.47 (-0.00) 99.47 (-0.00)
7feb0d 99.90 (+0.01) 99.90 (+0.01)
982fce 98.63 (-0.01) 98.63 (-0.01)
1f151d 99.15 (-0.00) 99.15 (-0.00)
ff1a1a 99.51 (+0.00) 99.51 (+0.00)
b1477b 99.15 (+0.00) 99.16 (+0.00)
1b947f 98.89 (-0.01) 98.89 (-0.01)
a21b55 99.52 (+0.00) 99.52 (+0.00)
4ba950 99.49 (+0.00) 99.49 (+0.00)
4e359d 99.09 (-0.01) 99.09 (-0.01)
3837fc 100.10 (+0.01) 100.10 (+0.01)
edcf4d 99.22 (+0.00) 99.22 (+0.00)
411c71 99.06 (-0.00) 99.06 (-0.00)
854348 99.48 (+0.01) 99.49 (+0.01)
7ba5c2 98.89 (-0.01) 98.89 (-0.01)
ebea29 99.83 (+0.01) 99.83 (+0.01)
22c890 98.73 (-0.01) 98.73 (-0.01)
f0b2e0 99.26 (-0.00) 99.26 (-0.00)
dec580 99.72 (+0.01) 99.72 (+0.01)
dec580 99.21 (+0.00) 99.21 (+0.00)
b1c2a6 98.74 (-0.00) 98.74 (-0.00)
931094 98.94 (+0.01) 98.94 (+0.01)
957acb 98.39 (-0.01) 98.40 (-0.01)
846532 98.95 (+0.00) 98.95 (+0.00)
d733bc 98.59 (-0.00) 98.59 (-0.00)
75ffe3 98.96 (-0.01) 98.96 (-0.01)
75ffe3 99.60 (+0.01) 99.60 (+0.01)
bf4623 98.64 (-0.00) 98.64 (-0.00)
b26c83 98.98 (+0.00) 98.98 (+0.00)
9d714a 98.78 (-0.01) 98.78 (-0.01)
6efea4 99.80 (+0.01) 99.80 (+0.01)
4071ff 99.03 (-0.00) 99.03 (-0.00)
4071ff 99.20 (-0.00) 99.20 (-0.00)
870ba4 99.37 (-0.00) 99.37 (-0.00)
f5ca89 99.67 (+0.01) 99.67 (+0.01)
8bd565 98.77 (-0.01) 98.77 (-0.01)
dd22c8 100.16 (+0.01) 100.17 (+0.01)
299db9 99.54 (+0.00) 99.54 (+0.00)
93f3f4 99.19 (+0.00) 99.19 (+0.00)
f6e2e0 99.13 (-0.00) 99.13 (-0.00)
f6e2e0 99.48 (+0.01) 99.48 (+0.01)
f6e2e0 98.97 (-0.00) 98.97 (-0.00)
f1d960 99.15 (-0.00) 99.15 (-0.00)
4a9279 99.39 (+0.00) 99.39 (+0.00)
2e4bf7 99.11 (-0.00) 99.11 (-0.00)
ce8fbb 99.41 (-0.00) 99.41 (-0.00)
ce8fbb 99.71 (+0.01) 99.71 (+0.01)
ce8fbb 99.11 (-0.00) 99.11 (-0.00)
d1a0f2 99.25 (+0.00) 99.25 (+0.00)
ccf92d 99.12 (-0.00) 99.12 (-0.00)
02b8e0 99.28 (+0.00) 99.28 (+0.00)
7b9057 98.92 (-0.01) 98.92 (-0.01)
9cada8 99.46 (+0.00) 99.46 (+0.00)
9cada8 99.21 (+0.00) 99.21 (+0.00)
9cada8 99.20 (-0.00) 99.20 (-0.00)
a60f68 99.41 (+0.00) 99.41 (+0.00)
d19c52 99.39 (-0.00) 99.39 (-0.00)
000eb1 99.60 (-0.01) 99.60 (-0.01)
000eb1 100.19 (+0.01) 100.19 (+0.01)
f51b48 99.28 (-0.00) 99.28 (-0.00)
f51b48 99.60 (-0.00) 99.61 (-0.00)
f51b48 100.10 (+0.01) 100.10 (+0.01)
9f906f 99.04 (-0.01) 99.04 (-0.01)
0692ff 99.93 (+0.00) 99.93 (+0.00)
2caece 99.79 (-0.00) 99.79 (-0.00)
bc7d3c 99.86 (+0.00) 99.86 (+0.00)
2153d2 99.52 (+0.00) 99.52 (+0.00)
2153d2 99.47 (-0.01) 99.47 (-0.01)
2153d2 100.05 (+0.01) 100.05 (+0.01)
a1b062 99.54 (-0.00) 99.54 (-0.00)
1d9d7c 99.71 (+0.00) 99.71 (+0.00)
3569c1 99.54 (+0.01) 99.54 (+0.01)
eaff14 99.00 (-0.00) 99.01 (-0.00)
f383b4 99.24 (+0.00) 99.24 (+0.00)
f383b4 99.19 (-0.00) 99.19 (-0.00)
f383b4 99.59 (+0.00) 99.60 (+0.00)
a4256b 99.55 (-0.01) 99.55 (-0.01)
371493 100.22 (+0.00) 100.22 (+0.00)
c5c143 99.91 (-0.00) 99.91 (-0.00)
58fa4f 100.20 (-0.00) 100.21 (-0.00)
121d53 100.30 (+0.01) 100.30 (+0.01)
121d53 99.77 (-0.00) 99.77 (-0.00)
ec3a3a 99.91 (+0.00) 99.91 (+0.00)
96e783 99.63 (-0.00) 99.64 (-0.00)
567b71 99.77 (-0.00) 99.77 (-0.00)
847fc5 100.01 (-0.01) 100.01 (-0.01)
5e08b3 100.55 (+0.01) 100.55 (+0.01)
4d291d 99.59 (-0.01) 99.59 (-0.01)
4d291d 100.17 (+0.01) 100.17 (+0.01)
bf63f1 99.21 (-0.01) 99.21 (-0.01)
0a0958 100.15 (+0.01) 100.15 (+0.01)
aabca5 99.44 (-0.01) 99.44 (-0.01)
a4be54 100.42 (+0.01) 100.43 (+0.01)
a3d7ad 99.42 (-0.01) 99.42 (-0.01)
a3d7ad 100.24 (+0.01) 100.24 (+0.01)
8ba169 98.83 (+0.00) 98.83 (+0.00)
e5cc2f 98.79 (-0.01) 98.79 (-0.01)
c6b56d 99.51 (+0.01) 99.51 (+0.01)
e067cd 98.95 (-0.00) 98.95 (-0.00)
bce423 99.04 (+0.01) 99.04 (+0.01)
bce423 98.35 (-0.01) 98.35 (-0.01)
c28bfd 99.30 (+0.01) 99.30 (+0.01)
95bf19 98.40 (-0.01) 98.41 (-0.01)
95bf19 98.99 (+0.00) 98.99 (+0.00)
080752 98.52 (-0.05) 98.52 (-0.05)
23d5e2 103.29 (+0.01) 103.29 (+0.01)
23d5e2 102.16 (+0.02) 102.16 (+0.02)
8b710b 100.20 (-0.02) 100.20 (-0.02)
8c6e60 102.57 (+0.00) 102.57 (+0.00)
10dae7 102.13 (-0.01) 102.13 (-0.01)
4c4d3d 102.86 (+0.02) 102.87 (+0.02)
9f94d0 100.60 (-0.02) 100.60 (-0.02)
9f94d0 102.35 (-0.00) 102.35 (-0.00)
9f94d0 102.62 (+0.04) 102.62 (+0.04)
c700c7 98.29 (+0.00) 98.29 (+0.00)
42c6dd 98.21 (-0.02) 98.21 (-0.02)
f6bf7b 100.59 (-0.02) 100.59 (-0.02)
1137b5 102.46 (+0.02) 102.46 (+0.02)
1468c6 99.99 (+0.02) 99.99 (+0.02)
1468c6 98.39 (+0.01) 98.39 (+0.01)
c01f92 97.20 (-0.01) 97.20 (-0.01)
7ff591 98.23 (+0.01) 98.23 (+0.01)
5d4774 97.51 (-0.00) 97.51 (-0.00)
56d8c2 97.52 (-0.01) 97.52 (-0.01)
12e6f4 98.40 (+0.07) 98.40 (+0.07)
12e6f4 91.64 (-0.06) 91.64 (-0.06)
12e6f4 97.43 (+0.00) 97.43 (+0.00)
61194a 97.14 (-0.00) 97.15 (-0.00)
70ce01 97.60 (-0.01) 97.60 (-0.01)
c04c20 98.43 (+0.00) 98.43 (+0.00)
827ee1 97.96 (+0.01) 97.96 (+0.01)
22ae67 97.36 (+0.00) 97.36 (+0.00)
0f4458 97.00 (-0.00) 97.00 (-0.00)
0f4458 97.05 (+161.79) 97.05 (+54.85)
83faef 0.60 1.74

Runs for test_runner/performance/test_perf_olap.py::test_tpch[query6]

platform: rds-postgres

revision Q6/1 total_duration
41aa62 69.31 (-0.00) 69.31 (-0.00)
7b5489 69.33 (+0.00) 69.33 (+0.00)
a23b07 69.29 (-0.00) 69.29 (-0.00)
cc2d00 69.30 (-0.00) 69.30 (-0.00)
ba9df2 69.31 (+0.00) 69.31 (+0.00)
a8f354 69.30 (-0.01) 69.30 (-0.01)
7feb0d 69.85 (+0.01) 69.86 (+0.01)
982fce 69.35 (-0.01) 69.35 (-0.01)
1f151d 69.86 (+0.01) 69.87 (+0.01)
ff1a1a 69.36 (-0.00) 69.37 (-0.00)
b1477b 69.40 (+0.00) 69.40 (+0.00)
1b947f 69.35 (-0.01) 69.35 (-0.01)
a21b55 69.88 (+0.01) 69.88 (+0.01)
4ba950 69.35 (-0.00) 69.36 (+0.00)
4e359d 69.35 (-0.00) 69.36 (+0.00)
3837fc 69.35 (+0.00) 69.35 (+0.00)
edcf4d 69.33 (-0.00) 69.33 (-0.00)
411c71 69.34 (+0.00) 69.34 (+0.00)
854348 69.33 (+0.00) 69.33 (-0.00)
7ba5c2 69.33 (-0.00) 69.33 (-0.00)
ebea29 69.37 (+0.00) 69.37 (+0.00)
22c890 69.33 (-0.00) 69.33 (-0.00)
f0b2e0 69.35 (+0.00) 69.35 (+0.00)
dec580 69.33 (-0.00) 69.33 (-0.00)
dec580 69.33 (+0.00) 69.34 (+0.00)
b1c2a6 69.32 (-0.00) 69.32 (-0.00)
931094 69.33 (-0.01) 69.33 (-0.01)
957acb 69.87 (+0.00) 69.87 (+0.00)
846532 69.86 (+0.01) 69.86 (+0.01)
d733bc 69.32 (-0.00) 69.33 (-0.00)
75ffe3 69.34 (+0.00) 69.34 (+0.00)
75ffe3 69.32 (-0.01) 69.32 (-0.01)
bf4623 69.86 (+0.01) 69.86 (+0.01)
b26c83 69.33 (-0.01) 69.33 (-0.01)
9d714a 69.88 (+0.01) 69.88 (+0.01)
6efea4 69.34 (+0.00) 69.34 (+0.00)
4071ff 69.33 (-0.01) 69.34 (-0.01)
4071ff 69.86 (+0.01) 69.86 (+0.01)
870ba4 69.33 (-0.01) 69.34 (-0.01)
f5ca89 69.84 (+0.01) 69.85 (+0.01)
8bd565 69.32 (-0.00) 69.33 (-0.00)
dd22c8 69.33 (+0.00) 69.33 (+0.00)
299db9 69.33 (-0.00) 69.33 (-0.00)
93f3f4 69.33 (-0.01) 69.33 (-0.01)
f6e2e0 69.85 (+0.01) 69.85 (+0.01)
f6e2e0 69.32 (-0.00) 69.32 (-0.00)
f6e2e0 69.34 (+0.00) 69.34 (+0.00)
f1d960 69.32 (-0.01) 69.32 (-0.01)
4a9279 69.84 (+0.01) 69.84 (+0.01)
2e4bf7 69.34 (+0.00) 69.34 (+0.00)
ce8fbb 69.32 (-0.01) 69.32 (-0.01)
ce8fbb 69.91 (+0.01) 69.91 (+0.01)
ce8fbb 69.33 (+0.00) 69.33 (+0.00)
d1a0f2 69.32 (-0.01) 69.33 (-0.01)
ccf92d 69.83 (-0.00) 69.83 (-0.00)
02b8e0 69.85 (+0.00) 69.85 (+0.00)
7b9057 69.84 (+0.01) 69.85 (+0.01)
9cada8 69.33 (+0.00) 69.33 (+0.00)
9cada8 69.32 (-0.00) 69.32 (-0.00)
9cada8 69.33 (-0.00) 69.33 (-0.00)
a60f68 69.39 (+0.00) 69.39 (+0.00)
d19c52 69.34 (+0.00) 69.34 (+0.00)
000eb1 69.33 (-0.00) 69.34 (+0.00)
000eb1 69.33 (-0.00) 69.33 (-0.00)
f51b48 69.33 (-0.00) 69.33 (-0.00)
f51b48 69.35 (-0.00) 69.35 (-0.00)
f51b48 69.36 (-0.01) 69.36 (-0.01)
9f906f 69.88 (+0.01) 69.88 (+0.01)
0692ff 69.40 (+0.00) 69.40 (+0.00)
2caece 69.36 (+0.00) 69.36 (+0.00)
bc7d3c 69.35 (-0.00) 69.36 (+0.00)
2153d2 69.35 (-0.00) 69.36 (+0.00)
2153d2 69.36 (+0.00) 69.36 (+0.00)
2153d2 69.35 (-0.00) 69.35 (-0.00)
a1b062 69.35 (-0.01) 69.35 (-0.01)
1d9d7c 69.85 (+0.01) 69.85 (+0.01)
3569c1 69.32 (-0.01) 69.32 (-0.01)
eaff14 69.84 (+0.01) 69.84 (+0.01)
f383b4 69.31 (-0.01) 69.31 (-0.01)
f383b4 69.82 (+0.01) 69.82 (+0.01)
f383b4 69.33 (-0.01) 69.33 (-0.01)
a4256b 69.85 (+0.01) 69.85 (+0.01)
371493 69.32 (+0.00) 69.32 (+0.00)
c5c143 69.32 (-0.00) 69.32 (-0.00)
58fa4f 69.34 (+0.00) 69.34 (+0.00)
121d53 69.32 (-0.00) 69.32 (-0.00)
121d53 69.34 (+0.00) 69.34 (+0.00)
ec3a3a 69.33 (-0.01) 69.33 (-0.01)
96e783 69.84 (-0.00) 69.84 (-0.00)
567b71 69.87 (+0.01) 69.87 (+0.01)
847fc5 69.34 (-0.00) 69.34 (-0.00)
5e08b3 69.36 (+0.00) 69.36 (+0.00)
4d291d 69.35 (+0.00) 69.35 (+0.00)
4d291d 69.34 (+0.00) 69.34 (+0.00)
bf63f1 69.33 (+0.00) 69.33 (+0.00)
0a0958 69.32 (-0.01) 69.33 (-0.01)
aabca5 69.85 (+0.01) 69.85 (+0.01)
a4be54 69.33 (-0.01) 69.33 (-0.01)
a3d7ad 69.85 (+0.01) 69.85 (+0.01)
a3d7ad 69.30 (-0.00) 69.30 (-0.00)
8ba169 69.32 (+0.00) 69.32 (+0.00)
e5cc2f 69.31 (+0.00) 69.31 (+0.00)
c6b56d 69.29 (-0.01) 69.29 (-0.01)
e067cd 69.83 (+0.01) 69.83 (+0.01)
bce423 69.33 (+0.00) 69.33 (+0.00)
bce423 69.31 (-0.00) 69.32 (+0.00)
c28bfd 69.31 (-0.01) 69.31 (-0.01)
95bf19 69.80 (+0.01) 69.80 (+0.01)
95bf19 69.28 (-0.00) 69.28 (-0.00)
080752 69.30 (+0.02) 69.30 (+0.02)
23d5e2 67.85 (-0.01) 67.85 (-0.01)
23d5e2 68.34 (-0.01) 68.34 (-0.01)
8b710b 69.29 (+0.02) 69.29 (+0.02)
8c6e60 67.88 (-0.01) 67.89 (-0.01)
10dae7 68.31 (+0.01) 68.31 (+0.01)
4c4d3d 67.84 (-0.03) 67.84 (-0.03)
9f94d0 69.83 (+0.03) 69.83 (+0.03)
9f94d0 67.87 (-0.01) 67.87 (-0.01)
9f94d0 68.42 (-0.02) 68.42 (-0.02)
c700c7 69.83 (+0.01) 69.83 (+0.01)
42c6dd 69.31 (+0.00) 69.31 (+0.00)
f6bf7b 69.28 (+0.02) 69.28 (+0.02)
1137b5 67.86 (-0.02) 67.86 (-0.02)
1468c6 69.29 (+0.00) 69.29 (+0.00)
1468c6 69.28 (-0.00) 69.29 (+0.00)
c01f92 69.29 (-0.00) 69.29 (-0.00)
7ff591 69.29 (-0.01) 69.29 (-0.01)
5d4774 69.82 (+0.01) 69.82 (+0.01)
56d8c2 69.30 (-0.00) 69.30 (-0.00)
12e6f4 69.32 (+0.11) 69.32 (+0.11)
12e6f4 62.40 (-0.11) 62.40 (-0.11)
12e6f4 69.84 (+0.01) 69.84 (+0.01)
61194a 69.36 (+0.00) 69.36 (+0.00)
70ce01 69.32 (-0.00) 69.33 (+0.00)
c04c20 69.33 (+0.00) 69.33 (+0.00)
827ee1 69.32 (-0.01) 69.32 (-0.01)
22ae67 70.08 (+0.00) 70.08 (+0.00)
0f4458 69.76 (+0.01) 69.76 (+0.01)
0f4458 69.21 (+68.45) 69.21 (+23.25)
83faef 1.00 2.85

Runs for test_runner/performance/test_perf_olap.py::test_tpch[query7]

platform: rds-postgres

revision Q7/1 total_duration
41aa62 87.71 (+0.00) 87.71 (+0.00)
7b5489 87.43 (-0.01) 87.43 (-0.01)
a23b07 88.63 (+0.01) 88.63 (+0.01)
cc2d00 87.70 (-0.01) 87.72 (-0.01)
ba9df2 88.55 (-0.00) 88.55 (-0.00)
a8f354 88.98 (+0.01) 88.98 (+0.01)
7feb0d 88.37 (+0.01) 88.37 (+0.01)
982fce 87.24 (-0.02) 87.24 (-0.02)
1f151d 88.66 (+0.02) 88.66 (+0.02)
ff1a1a 87.26 (-0.01) 87.26 (-0.01)
b1477b 88.14 (+0.00) 88.14 (+0.00)
1b947f 87.93 (-0.01) 87.93 (-0.01)
a21b55 88.44 (-0.00) 88.44 (-0.00)
4ba950 88.74 (+0.01) 88.74 (+0.01)
4e359d 87.82 (-0.01) 87.82 (-0.01)
3837fc 88.79 (-0.00) 88.79 (-0.00)
edcf4d 89.12 (+0.01) 89.12 (+0.01)
411c71 87.82 (-0.01) 87.82 (-0.01)
854348 88.57 (+0.01) 88.57 (+0.01)
7ba5c2 87.93 (-0.01) 87.93 (-0.01)
ebea29 88.49 (-0.00) 88.49 (-0.00)
22c890 88.56 (+0.01) 88.56 (+0.01)
f0b2e0 87.40 (-0.02) 87.40 (-0.02)
dec580 88.80 (+0.02) 88.80 (+0.02)
dec580 87.19 (-0.00) 87.19 (-0.00)
b1c2a6 87.34 (-0.01) 87.34 (-0.01)
931094 88.10 (+0.01) 88.10 (+0.01)
957acb 87.56 (-0.01) 87.56 (-0.01)
846532 88.10 (-0.01) 88.11 (-0.01)
d733bc 88.95 (+0.01) 88.95 (+0.01)
75ffe3 87.67 (-0.01) 87.68 (-0.01)
75ffe3 88.63 (+0.01) 88.63 (+0.01)
bf4623 87.88 (-0.00) 87.88 (-0.00)
b26c83 88.21 (+0.01) 88.21 (+0.01)
9d714a 87.08 (-0.01) 87.08 (-0.01)
6efea4 87.89 (-0.01) 87.89 (-0.01)
4071ff 88.75 (+0.01) 88.75 (+0.01)
4071ff 87.97 (-0.01) 87.97 (-0.01)
870ba4 88.89 (+0.02) 88.89 (+0.02)
f5ca89 86.79 (-0.01) 86.80 (-0.01)
8bd565 87.29 (-0.01) 87.29 (-0.01)
dd22c8 87.96 (-0.00) 87.96 (-0.00)
299db9 88.22 (-0.01) 88.22 (-0.01)
93f3f4 88.85 (+0.02) 88.85 (+0.02)
f6e2e0 87.50 (-0.01) 87.50 (-0.01)
f6e2e0 88.61 (+0.01) 88.62 (+0.01)
f6e2e0 87.75 (-0.01) 87.75 (-0.01)
f1d960 88.30 (+0.00) 88.30 (+0.00)
4a9279 88.11 (-0.01) 88.11 (-0.01)
2e4bf7 88.60 (+0.00) 88.60 (+0.00)
ce8fbb 88.43 (+0.02) 88.43 (+0.02)
ce8fbb 86.82 (-0.01) 86.82 (-0.01)
ce8fbb 87.29 (-0.01) 87.29 (-0.01)
d1a0f2 87.85 (-0.00) 87.85 (-0.00)
ccf92d 88.01 (+0.01) 88.01 (+0.01)
02b8e0 87.53 (+0.01) 87.53 (+0.01)
7b9057 86.95 (-0.02) 86.95 (-0.02)
9cada8 88.62 (-0.00) 88.62 (-0.00)
9cada8 88.96 (+0.01) 88.96 (+0.01)
9cada8 88.40 (+0.00) 88.40 (+0.00)
a60f68 87.99 (+0.01) 87.99 (+0.01)
d19c52 87.12 (-0.02) 87.12 (-0.02)
000eb1 88.64 (+0.01) 88.64 (+0.01)
000eb1 87.93 (+0.01) 87.93 (+0.01)
f51b48 87.24 (-0.01) 87.25 (-0.01)
f51b48 88.36 (+0.01) 88.36 (+0.01)
f51b48 87.56 (-0.00) 87.56 (-0.00)
9f906f 87.96 (-0.00) 87.96 (-0.00)
0692ff 88.24 (+0.01) 88.24 (+0.01)
2caece 86.94 (-0.02) 86.94 (-0.02)
bc7d3c 88.48 (-0.00) 88.48 (-0.00)
2153d2 88.63 (+0.00) 88.64 (+0.00)
2153d2 88.44 (+0.00) 88.44 (+0.00)
2153d2 88.10 (+0.01) 88.10 (+0.01)
a1b062 87.56 (-0.01) 87.56 (-0.01)
1d9d7c 88.26 (+0.02) 88.26 (+0.02)
3569c1 86.89 (-0.01) 86.89 (-0.01)
eaff14 87.86 (-0.01) 87.86 (-0.01)
f383b4 88.64 (+0.01) 88.64 (+0.01)
f383b4 88.03 (-0.00) 88.03 (-0.00)
f383b4 88.46 (+0.01) 88.46 (+0.01)
a4256b 87.85 (+0.00) 87.85 (+0.00)
371493 87.83 (-0.01) 87.83 (-0.01)
c5c143 88.67 (+0.02) 88.67 (+0.02)
58fa4f 86.78 (-0.01) 86.78 (-0.01)
121d53 88.05 (-0.00) 88.05 (-0.00)
121d53 88.07 (-0.00) 88.07 (-0.00)
ec3a3a 88.14 (+0.00) 88.14 (+0.00)
96e783 87.94 (+0.00) 87.94 (+0.00)
567b71 87.61 (-0.00) 87.61 (-0.00)
847fc5 87.90 (-0.00) 87.90 (-0.00)
5e08b3 88.10 (-0.00) 88.10 (-0.00)
4d291d 88.29 (+0.02) 88.29 (+0.02)
4d291d 86.84 (-0.01) 86.84 (-0.01)
bf63f1 87.38 (-0.00) 87.38 (-0.00)
0a0958 87.63 (+0.01) 87.64 (+0.01)
aabca5 87.04 (-0.00) 87.04 (-0.00)
a4be54 87.36 (+0.01) 87.36 (+0.01)
a3d7ad 86.72 (+0.00) 86.72 (+0.00)
a3d7ad 86.69 (-0.01) 86.69 (-0.01)
8ba169 87.65 (-0.01) 87.65 (-0.01)
e5cc2f 88.41 (+0.00) 88.41 (+0.00)
c6b56d 88.09 (-0.00) 88.09 (-0.00)
e067cd 88.11 (+0.00) 88.11 (+0.00)
bce423 87.91 (+0.00) 87.92 (+0.00)
bce423 87.54 (-0.01) 87.54 (-0.01)
c28bfd 88.16 (+0.02) 88.16 (+0.02)
95bf19 86.80 (-0.01) 86.80 (-0.01)
95bf19 87.48 (+0.01) 87.48 (+0.01)
080752 86.67 (+0.02) 86.67 (+0.02)
23d5e2 85.33 (-0.02) 85.33 (-0.02)
23d5e2 86.73 (-0.02) 86.73 (-0.02)
8b710b 88.59 (+0.02) 88.59 (+0.02)
8c6e60 86.54 (+0.00) 86.54 (+0.00)
10dae7 86.27 (-0.01) 86.27 (-0.01)
4c4d3d 86.85 (-0.01) 86.85 (-0.01)
9f94d0 87.90 (+0.02) 87.90 (+0.02)
9f94d0 86.48 (-0.00) 86.48 (-0.00)
9f94d0 86.73 (-0.00) 86.73 (-0.00)
c700c7 86.80 (-0.00) 86.80 (-0.00)
42c6dd 87.13 (-0.01) 87.14 (-0.01)
f6bf7b 87.58 (+0.02) 87.58 (+0.02)
1137b5 86.27 (-0.02) 86.27 (-0.02)
1468c6 88.16 (+0.01) 88.16 (+0.01)
1468c6 87.54 (-0.00) 87.54 (-0.00)
c01f92 87.84 (-0.00) 87.85 (-0.00)
7ff591 87.92 (+0.01) 87.92 (+0.01)
5d4774 87.24 (-0.01) 87.24 (-0.01)
56d8c2 88.41 (+0.01) 88.41 (+0.01)
12e6f4 87.35 (+0.10) 87.35 (+0.10)
12e6f4 79.30 (-0.09) 79.30 (-0.09)
12e6f4 87.21 (-0.01) 87.21 (-0.01)
61194a 88.09 (+0.01) 88.10 (+0.01)
70ce01 87.51 (-0.00) 87.51 (-0.00)
c04c20 87.77 (+0.01) 87.78 (+0.01)
827ee1 86.96 (+0.00) 86.96 (+0.00)
22ae67 86.82 (-0.01) 86.82 (-0.01)
0f4458 87.67 (-0.01) 87.67 (-0.01)
0f4458 88.25 (+132.19) 88.25 (+42.85)
83faef 0.66 2.01

Runs for test_runner/performance/test_perf_olap.py::test_tpch[query8]

platform: rds-postgres

revision Q8/1 total_duration
41aa62 103.41 (+0.01) 103.41 (+0.01)
7b5489 102.72 (+0.01) 102.72 (+0.01)
a23b07 102.16 (+0.00) 102.16 (+0.00)
cc2d00 102.06 (-0.01) 102.06 (-0.01)
ba9df2 103.35 (+0.01) 103.35 (+0.01)
a8f354 102.66 (-0.01) 102.66 (-0.01)
7feb0d 103.65 (-0.02) 103.65 (-0.02)
982fce 105.46 (+0.01) 105.46 (+0.01)
1f151d 104.15 (-0.01) 104.15 (-0.01)
ff1a1a 105.13 (-0.00) 105.13 (-0.00)
b1477b 105.65 (-0.00) 105.65 (-0.00)
1b947f 105.65 (+0.01) 105.66 (+0.01)
a21b55 104.95 (-0.01) 104.95 (-0.01)
4ba950 105.58 (-0.00) 105.58 (-0.00)
4e359d 105.95 (+0.02) 105.95 (+0.02)
3837fc 104.27 (+0.00) 104.28 (+0.00)
edcf4d 104.14 (+0.00) 104.14 (+0.00)
411c71 103.70 (+0.01) 103.70 (+0.01)
854348 103.06 (-0.03) 103.07 (-0.03)
7ba5c2 106.20 (+0.03) 106.21 (+0.03)
ebea29 103.37 (-0.02) 103.37 (-0.02)
22c890 105.82 (+0.02) 105.82 (+0.02)
f0b2e0 103.75 (+0.00) 103.75 (+0.00)
dec580 103.72 (+0.00) 103.72 (+0.00)
dec580 103.71 (+0.01) 103.71 (+0.01)
b1c2a6 102.94 (-0.00) 102.94 (-0.00)
931094 103.29 (+0.01) 103.29 (+0.01)
957acb 102.01 (-0.00) 102.01 (-0.00)
846532 102.35 (-0.01) 102.35 (-0.01)
d733bc 103.33 (+0.01) 103.33 (+0.01)
75ffe3 102.22 (-0.01) 102.22 (-0.01)
75ffe3 102.93 (+0.03) 102.93 (+0.03)
bf4623 99.87 (-0.01) 99.87 (-0.01)
b26c83 101.00 (-0.01) 101.00 (-0.01)
9d714a 101.70 (-0.01) 101.70 (-0.01)
6efea4 102.77 (-0.01) 102.77 (-0.01)
4071ff 103.60 (+0.01) 103.60 (+0.01)
4071ff 102.66 (-0.01) 102.66 (-0.01)
870ba4 103.77 (+0.00) 103.77 (+0.00)
f5ca89 103.48 (-0.00) 103.48 (-0.00)
8bd565 103.87 (-0.00) 103.88 (-0.00)
dd22c8 104.37 (+0.00) 104.37 (+0.00)
299db9 104.15 (-0.00) 104.15 (-0.00)
93f3f4 104.36 (+0.00) 104.36 (+0.00)
f6e2e0 104.19 (-0.00) 104.19 (-0.00)
f6e2e0 104.36 (+0.01) 104.36 (+0.01)
f6e2e0 103.09 (-0.02) 103.09 (-0.02)
f1d960 105.31 (+0.02) 105.31 (+0.02)
4a9279 102.79 (-0.01) 102.79 (-0.01)
2e4bf7 103.79 (-0.00) 103.79 (-0.00)
ce8fbb 104.02 (-0.01) 104.02 (-0.01)
ce8fbb 104.62 (-0.00) 104.62 (-0.00)
ce8fbb 104.91 (+0.00) 104.91 (+0.00)
d1a0f2 104.40 (+0.01) 104.40 (+0.01)
ccf92d 103.47 (-0.01) 103.47 (-0.01)
02b8e0 104.49 (+0.02) 104.49 (+0.02)
7b9057 102.82 (-0.01) 102.82 (-0.01)
9cada8 104.21 (+0.00) 104.21 (+0.00)
9cada8 103.76 (+0.00) 103.76 (+0.00)
9cada8 103.70 (-0.01) 103.71 (-0.01)
a60f68 105.10 (+0.01) 105.10 (+0.01)
d19c52 104.31 (+0.00) 104.31 (+0.00)
000eb1 104.09 (+0.00) 104.09 (+0.00)
000eb1 104.00 (-0.00) 104.00 (-0.00)
f51b48 104.13 (+0.00) 104.13 (+0.00)
f51b48 104.13 (-0.00) 104.13 (-0.00)
f51b48 104.33 (+0.01) 104.34 (+0.01)
9f906f 103.72 (-0.00) 103.72 (-0.00)
0692ff 104.01 (-0.00) 104.01 (-0.00)
2caece 104.34 (-0.00) 104.34 (-0.00)
bc7d3c 104.75 (+0.02) 104.75 (+0.02)
2153d2 102.97 (-0.01) 102.97 (-0.01)
2153d2 104.31 (+0.00) 104.31 (+0.00)
2153d2 103.82 (+0.00) 103.82 (+0.00)
a1b062 103.51 (-0.00) 103.51 (-0.00)
1d9d7c 103.56 (-0.01) 103.56 (-0.01)
3569c1 105.03 (+0.02) 105.03 (+0.02)
eaff14 103.29 (-0.00) 103.29 (-0.00)
f383b4 103.81 (-0.00) 103.81 (-0.00)
f383b4 104.04 (-0.00) 104.04 (-0.00)
f383b4 104.53 (+0.01) 104.53 (+0.01)
a4256b 103.59 (-0.00) 103.59 (-0.00)
371493 103.90 (-0.01) 103.90 (-0.01)
c5c143 105.41 (+0.02) 105.41 (+0.02)
58fa4f 103.84 (-0.00) 103.84 (-0.00)
121d53 103.94 (+0.00) 103.94 (+0.00)
121d53 103.71 (-0.01) 103.71 (-0.01)
ec3a3a 104.98 (+0.01) 104.98 (+0.01)
96e783 104.26 (+0.01) 104.26 (+0.01)
567b71 103.56 (-0.01) 103.56 (-0.01)
847fc5 104.39 (-0.01) 104.39 (-0.01)
5e08b3 105.33 (+0.00) 105.33 (+0.00)
4d291d 104.94 (+0.00) 104.94 (+0.00)
4d291d 104.45 (+0.01) 104.45 (+0.01)
bf63f1 103.65 (-0.00) 103.65 (-0.00)
0a0958 104.03 (-0.00) 104.03 (-0.00)
aabca5 104.08 (-0.02) 104.08 (-0.02)
a4be54 106.50 (+0.03) 106.50 (+0.03)
a3d7ad 103.89 (+0.01) 103.90 (+0.01)
a3d7ad 103.32 (-0.00) 103.32 (-0.00)
8ba169 103.70 (-0.01) 103.70 (-0.01)
e5cc2f 104.95 (+0.01) 104.95 (+0.01)
c6b56d 103.61 (-0.01) 103.61 (-0.01)
e067cd 104.53 (-0.00) 104.53 (-0.00)
bce423 104.80 (+0.02) 104.81 (+0.02)
bce423 103.22 (-0.03) 103.22 (-0.03)
c28bfd 105.98 (+0.02) 105.99 (+0.02)
95bf19 103.73 (+0.01) 103.73 (+0.01)
95bf19 102.92 (-0.03) 102.92 (-0.03)
080752 105.75 (-0.06) 105.75 (-0.06)
23d5e2 112.06 (+0.01) 112.07 (+0.01)
23d5e2 111.50 (-0.00) 111.50 (-0.00)
8b710b 111.65 (-0.00) 111.65 (-0.00)
8c6e60 111.69 (+0.00) 111.69 (+0.00)
10dae7 111.43 (-0.02) 111.43 (-0.02)
4c4d3d 113.54 (+0.01) 113.54 (+0.01)
9f94d0 112.24 (+0.01) 112.24 (+0.01)
9f94d0 110.62 (-0.01) 110.62 (-0.01)
9f94d0 111.67 (+0.07) 111.67 (+0.07)
c700c7 103.89 (+0.02) 103.89 (+0.02)
42c6dd 102.08 (-0.09) 102.08 (-0.09)
f6bf7b 112.70 (+0.00) 112.70 (+0.00)
1137b5 112.32 (+0.00) 112.32 (+0.00)
1468c6 111.78 (+0.06) 111.78 (+0.06)
1468c6 105.77 (+0.05) 105.77 (+0.05)
c01f92 100.80 (+0.00) 100.80 (+0.00)
7ff591 100.77 (+0.01) 100.77 (+0.01)
5d4774 100.08 (-0.00) 100.08 (-0.00)
56d8c2 100.19 (-0.02) 100.19 (-0.02)
12e6f4 102.42 (+0.09) 102.42 (+0.09)
12e6f4 93.54 (-0.06) 93.54 (-0.06)
12e6f4 99.55 (-0.01) 99.55 (-0.01)
61194a 100.20 (-0.02) 100.20 (-0.02)
70ce01 102.34 (+0.02) 102.34 (+0.02)
c04c20 100.70 (+0.00) 100.70 (+0.00)
827ee1 100.37 (-0.00) 100.37 (-0.00)
22ae67 100.49 (+0.02) 100.49 (+0.02)
0f4458 98.72 (-0.00) 98.72 (-0.00)
0f4458 98.76 (+243.76) 98.76 (+83.66)
83faef 0.40 1.17

Runs for test_runner/performance/test_perf_olap.py::test_tpch[query9]

platform: rds-postgres

revision Q9/1 total_duration
41aa62 709.36 (+0.00) 709.36 (+0.00)
7b5489 708.46 (+0.01) 708.46 (+0.01)
a23b07 704.44 (-0.00) 704.44 (-0.00)
cc2d00 705.52 (+0.00) 705.53 (+0.00)
ba9df2 705.41 (-0.00) 705.41 (-0.00)
a8f354 705.87 (-0.01) 705.87 (-0.01)
7feb0d 710.67 (+0.00) 710.67 (+0.00)
982fce 708.91 (-0.00) 708.91 (-0.00)
1f151d 709.05 (-0.01) 709.05 (-0.01)
ff1a1a 712.70 (+0.00) 712.71 (+0.00)
b1477b 711.78 (-0.00) 711.78 (-0.00)
1b947f 713.23 (-0.01) 713.24 (-0.01)
a21b55 720.52 (+0.02) 720.52 (+0.02)
4ba950 709.47 (-0.00) 709.47 (-0.00)
4e359d 709.55 (-0.00) 709.55 (-0.00)
3837fc 710.35 (-0.00) 710.35 (-0.00)
edcf4d 710.86 (+0.00) 710.86 (+0.00)
411c71 710.69 (+0.00) 710.69 (+0.00)
854348 709.86 (-0.01) 709.86 (-0.01)
7ba5c2 716.73 (+0.01) 716.73 (+0.01)
ebea29 709.69 (-0.01) 709.69 (-0.01)
22c890 715.00 (+0.00) 715.01 (+0.00)
f0b2e0 712.70 (+0.00) 712.70 (+0.00)
dec580 711.51 (+0.00) 711.51 (+0.00)
dec580 710.63 (+0.00) 710.63 (+0.00)
b1c2a6 708.88 (-0.00) 708.88 (-0.00)
931094 709.97 (+0.00) 709.97 (+0.00)
957acb 708.98 (-0.00) 708.98 (-0.00)
846532 712.31 (+0.00) 712.31 (+0.00)
d733bc 709.98 (-0.00) 709.98 (-0.00)
75ffe3 710.26 (+0.00) 710.27 (+0.00)
75ffe3 709.13 (+0.01) 709.13 (+0.01)
bf4623 699.31 (+0.00) 699.31 (+0.00)
b26c83 696.48 (+0.00) 696.48 (+0.00)
9d714a 693.89 (-0.01) 693.89 (-0.01)
6efea4 698.39 (+0.00) 698.39 (+0.00)
4071ff 697.32 (-0.01) 697.32 (-0.01)
4071ff 702.06 (+0.01) 702.06 (+0.01)
870ba4 697.50 (+0.00) 697.51 (+0.00)
f5ca89 695.85 (-0.01) 695.85 (-0.01)
8bd565 701.59 (+0.01) 701.59 (+0.01)
dd22c8 696.01 (-0.00) 696.01 (-0.00)
299db9 698.87 (-0.00) 698.87 (-0.00)
93f3f4 699.97 (+0.00) 699.97 (+0.00)
f6e2e0 697.10 (-0.01) 697.10 (-0.01)
f6e2e0 700.96 (+0.01) 700.96 (+0.01)
f6e2e0 696.30 (+0.00) 696.30 (+0.00)
f1d960 694.04 (-0.01) 694.04 (-0.01)
4a9279 698.25 (+0.00) 698.25 (+0.00)
2e4bf7 695.17 (-0.01) 695.17 (-0.01)
ce8fbb 700.64 (+0.00) 700.65 (+0.00)
ce8fbb 698.63 (+0.00) 698.63 (+0.00)
ce8fbb 697.99 (-0.00) 697.99 (-0.00)
d1a0f2 699.49 (+0.00) 699.50 (+0.00)
ccf92d 696.91 (-0.01) 696.92 (-0.01)
02b8e0 703.32 (+0.01) 703.32 (+0.01)
7b9057 696.28 (-0.00) 696.28 (-0.00)
9cada8 696.28 (-0.01) 696.28 (-0.01)
9cada8 701.32 (+0.01) 701.32 (+0.01)
9cada8 696.65 (-0.00) 696.65 (-0.00)
a60f68 697.71 (-0.00) 697.71 (-0.00)
d19c52 700.15 (+0.00) 700.15 (+0.00)
000eb1 698.06 (+0.00) 698.06 (+0.00)
000eb1 696.19 (-0.00) 696.19 (-0.00)
f51b48 697.36 (+0.00) 697.36 (+0.00)
f51b48 695.56 (-0.00) 695.56 (-0.00)
f51b48 698.63 (+0.00) 698.63 (+0.00)
9f906f 695.85 (-0.01) 695.85 (-0.01)
0692ff 700.19 (+0.00) 700.19 (+0.00)
2caece 697.17 (-0.01) 697.17 (-0.01)
bc7d3c 702.73 (+0.01) 702.73 (+0.01)
2153d2 697.69 (+0.00) 697.69 (+0.00)
2153d2 696.32 (-0.00) 696.32 (-0.00)
2153d2 699.15 (+0.00) 699.15 (+0.00)
a1b062 696.14 (-0.00) 696.14 (-0.00)
1d9d7c 698.41 (+0.00) 698.41 (+0.00)
3569c1 697.51 (+0.00) 697.51 (+0.00)
eaff14 696.63 (+0.00) 696.63 (+0.00)
f383b4 695.94 (-0.00) 695.94 (-0.00)
f383b4 698.53 (+0.00) 698.53 (+0.00)
f383b4 697.07 (-0.00) 697.07 (-0.00)
a4256b 699.73 (+0.00) 699.73 (+0.00)
371493 697.20 (-0.00) 697.20 (-0.00)
c5c143 697.64 (-0.00) 697.64 (-0.00)
58fa4f 700.92 (+0.00) 700.93 (+0.00)
121d53 699.31 (+0.00) 699.31 (+0.00)
121d53 698.09 (-0.00) 698.09 (-0.00)
ec3a3a 698.70 (+0.00) 698.70 (+0.00)
96e783 696.59 (-0.01) 696.59 (-0.01)
567b71 700.51 (-0.00) 700.51 (-0.00)
847fc5 700.80 (+0.00) 700.80 (+0.00)
5e08b3 699.27 (-0.00) 699.27 (-0.00)
4d291d 699.85 (-0.00) 699.85 (-0.00)
4d291d 701.24 (+0.01) 701.24 (+0.01)
bf63f1 697.58 (-0.00) 697.59 (-0.00)
0a0958 698.77 (+0.00) 698.77 (+0.00)
aabca5 698.61 (-0.00) 698.61 (-0.00)
a4be54 701.31 (+0.00) 701.32 (+0.00)
a3d7ad 698.05 (+0.00) 698.05 (+0.00)
a3d7ad 695.33 (-0.00) 695.33 (-0.00)
8ba169 696.96 (-0.01) 696.96 (-0.01)
e5cc2f 701.32 (+0.01) 701.32 (+0.01)
c6b56d 696.53 (-0.00) 696.53 (-0.00)
e067cd 697.14 (+0.00) 697.14 (+0.00)
bce423 697.03 (-0.00) 697.04 (-0.00)
bce423 699.30 (-0.00) 699.30 (-0.00)
c28bfd 699.64 (+0.00) 699.64 (+0.00)
95bf19 696.47 (+0.00) 696.47 (+0.00)
95bf19 696.10 (-0.00) 696.10 (-0.00)
080752 697.66 (+0.01) 697.66 (+0.01)
23d5e2 691.27 (-0.00) 691.27 (-0.00)
23d5e2 691.90 (-0.02) 691.90 (-0.02)
8b710b 706.51 (+0.02) 706.51 (+0.02)
8c6e60 693.51 (+0.00) 693.51 (+0.00)
10dae7 691.44 (-0.00) 691.44 (-0.00)
4c4d3d 692.85 (-0.02) 692.85 (-0.02)
9f94d0 705.54 (+0.01) 705.54 (+0.01)
9f94d0 695.61 (+0.00) 695.61 (+0.00)
9f94d0 693.16 (-0.00) 693.16 (-0.00)
c700c7 696.62 (-0.00) 696.62 (-0.00)
42c6dd 699.16 (+0.00) 699.16 (+0.00)
f6bf7b 697.19 (+0.00) 697.19 (+0.00)
1137b5 696.43 (-0.01) 696.43 (-0.01)
1468c6 701.06 (-0.00) 701.06 (-0.00)
1468c6 701.22 (+0.01) 701.22 (+0.01)
c01f92 692.03 (-0.01) 692.03 (-0.01)
7ff591 697.49 (+0.00) 697.49 (+0.00)
5d4774 695.34 (-0.00) 695.34 (-0.00)
56d8c2 695.76 (+0.00) 695.76 (+0.00)
12e6f4 694.91 (+0.02) 694.91 (+0.02)
12e6f4 684.25 (-0.01) 684.25 (-0.01)
12e6f4 693.74 (-0.00) 693.74 (-0.00)
61194a 696.68 (-0.00) 696.68 (-0.00)
70ce01 699.38 (+0.01) 699.38 (+0.01)
c04c20 694.00 (-0.00) 694.01 (-0.00)
827ee1 694.84 (+0.00) 694.85 (+0.00)
22ae67 693.60 (+0.00) 693.60 (+0.00)
0f4458 691.71 (+0.00) 691.71 (+0.00)
0f4458 690.77 (+376.59) 690.77 (+121.17)
83faef 1.83 5.65

Runs for test_runner/performance/test_perf_olap.py::test_tpch[query10]

platform: rds-postgres

revision Q10/1 total_duration
41aa62 90.26 (+0.02) 90.26 (+0.02)
7b5489 88.86 (+0.01) 88.86 (+0.01)
a23b07 88.39 (-0.00) 88.39 (-0.00)
cc2d00 88.71 (+0.01) 88.71 (+0.01)
ba9df2 87.72 (-0.02) 87.72 (-0.02)
a8f354 89.23 (-0.01) 89.23 (-0.01)
7feb0d 89.69 (+0.02) 89.69 (+0.02)
982fce 87.57 (-0.00) 87.57 (-0.00)
1f151d 87.69 (-0.02) 87.69 (-0.02)
ff1a1a 89.71 (+0.00) 89.72 (+0.00)
b1477b 89.28 (-0.01) 89.28 (-0.01)
1b947f 89.93 (+0.15) 89.93 (+0.15)
a21b55 78.10 (-0.11) 78.10 (-0.11)
4ba950 87.97 (-0.00) 87.97 (-0.00)
4e359d 88.31 (-0.00) 88.31 (-0.00)
3837fc 88.36 (-0.01) 88.36 (-0.01)
edcf4d 89.31 (+0.00) 89.31 (+0.00)
411c71 89.25 (+0.01) 89.25 (+0.01)
854348 88.66 (+0.14) 88.66 (+0.14)
7ba5c2 77.47 (-0.13) 77.47 (-0.13)
ebea29 89.49 (+0.13) 89.49 (+0.13)
22c890 79.22 (-0.11) 79.22 (-0.11)
f0b2e0 89.32 (-0.00) 89.32 (-0.00)
dec580 89.70 (+0.01) 89.70 (+0.01)
dec580 88.66 (-0.02) 88.66 (-0.02)
b1c2a6 90.21 (+0.01) 90.21 (+0.01)
931094 89.11 (+0.00) 89.11 (+0.00)
957acb 88.98 (-0.02) 88.98 (-0.02)
846532 91.16 (+0.02) 91.16 (+0.02)
d733bc 89.42 (-0.00) 89.42 (-0.00)
75ffe3 89.76 (+0.02) 89.76 (+0.02)
75ffe3 87.83 (+0.21) 87.83 (+0.21)
bf4623 72.39 (-0.17) 72.39 (-0.17)
b26c83 87.40 (+0.01) 87.40 (+0.01)
9d714a 86.31 (-0.03) 86.31 (-0.03)
6efea4 88.64 (+0.02) 88.64 (+0.02)
4071ff 87.06 (+0.19) 87.06 (+0.19)
4071ff 73.22 (-0.17) 73.22 (-0.17)
870ba4 88.53 (+0.02) 88.54 (+0.02)
f5ca89 86.85 (+0.19) 86.86 (+0.19)
8bd565 72.89 (-0.15) 72.89 (-0.15)
dd22c8 86.14 (+0.23) 86.14 (+0.23)
299db9 70.31 (-0.20) 70.31 (-0.20)
93f3f4 87.97 (+0.01) 87.97 (+0.01)
f6e2e0 87.36 (+0.19) 87.36 (+0.19)
f6e2e0 73.28 (-0.16) 73.28 (-0.16)
f6e2e0 87.10 (-0.01) 87.11 (-0.01)
f1d960 88.16 (-0.00) 88.16 (-0.00)
4a9279 88.56 (+0.02) 88.56 (+0.02)
2e4bf7 87.06 (+0.23) 87.06 (+0.23)
ce8fbb 70.58 (-0.19) 70.58 (-0.19)
ce8fbb 86.78 (+0.00) 86.78 (+0.00)
ce8fbb 86.65 (-0.04) 86.65 (-0.04)
d1a0f2 90.20 (+0.05) 90.20 (+0.05)
ccf92d 86.15 (+0.13) 86.16 (+0.13)
02b8e0 75.99 (-0.13) 75.99 (-0.13)
7b9057 87.12 (-0.00) 87.12 (-0.00)
9cada8 87.14 (-0.05) 87.14 (-0.05)
9cada8 91.78 (+0.05) 91.78 (+0.05)
9cada8 87.03 (+0.00) 87.03 (+0.00)
a60f68 86.93 (-0.01) 86.93 (-0.01)
d19c52 87.96 (+0.01) 87.96 (+0.01)
000eb1 86.91 (+0.01) 86.91 (+0.01)
000eb1 86.24 (-0.01) 86.25 (-0.01)
f51b48 87.00 (+0.00) 87.01 (+0.00)
f51b48 86.66 (-0.01) 86.66 (-0.01)
f51b48 87.80 (+0.01) 87.80 (+0.01)
9f906f 87.14 (-0.02) 87.14 (-0.02)
0692ff 88.61 (+0.03) 88.61 (+0.03)
2caece 86.28 (+0.17) 86.28 (+0.17)
bc7d3c 73.68 (-0.15) 73.68 (-0.15)
2153d2 86.91 (-0.00) 86.91 (-0.00)
2153d2 86.98 (-0.00) 86.98 (-0.00)
2153d2 87.34 (+0.01) 87.34 (+0.01)
a1b062 86.68 (-0.02) 86.68 (-0.02)
1d9d7c 88.46 (+0.02) 88.46 (+0.02)
3569c1 86.93 (+0.00) 86.93 (+0.00)
eaff14 86.91 (+0.00) 86.91 (+0.00)
f383b4 86.62 (-0.02) 86.62 (-0.02)
f383b4 88.15 (+0.02) 88.16 (+0.02)
f383b4 86.53 (-0.01) 86.53 (-0.01)
a4256b 86.98 (+0.01) 86.99 (+0.01)
371493 86.27 (-0.01) 86.28 (-0.01)
c5c143 86.92 (-0.04) 86.92 (-0.04)
58fa4f 90.58 (+0.03) 90.58 (+0.03)
121d53 87.77 (-0.00) 87.77 (-0.00)
121d53 88.19 (+0.01) 88.19 (+0.01)
ec3a3a 87.26 (+0.01) 87.26 (+0.01)
96e783 86.29 (-0.04) 86.29 (-0.04)
567b71 90.08 (+0.04) 90.08 (+0.04)
847fc5 86.26 (-0.01) 86.26 (-0.01)
5e08b3 87.29 (+0.01) 87.29 (+0.01)
4d291d 86.53 (+0.19) 86.53 (+0.19)
4d291d 72.90 (-0.18) 72.90 (-0.18)
bf63f1 89.27 (+0.03) 89.28 (+0.03)
0a0958 86.98 (+0.00) 86.98 (+0.00)
aabca5 86.64 (-0.01) 86.64 (-0.01)
a4be54 87.79 (+0.01) 87.79 (+0.01)
a3d7ad 86.98 (+0.01) 86.98 (+0.01)
a3d7ad 86.25 (-0.01) 86.25 (-0.01)
8ba169 87.05 (-0.03) 87.05 (-0.03)
e5cc2f 89.71 (+0.04) 89.71 (+0.04)
c6b56d 86.08 (-0.01) 86.08 (-0.01)
e067cd 87.35 (+0.01) 87.35 (+0.01)
bce423 86.63 (-0.01) 86.63 (-0.01)
bce423 87.67 (+0.00) 87.67 (+0.00)
c28bfd 87.59 (+0.02) 87.59 (+0.02)
95bf19 86.03 (+0.00) 86.03 (+0.00)
95bf19 85.90 (-0.00) 85.90 (-0.00)
080752 86.13 (+0.00) 86.13 (+0.00)
23d5e2 85.83 (-0.01) 85.83 (-0.01)
23d5e2 86.60 (-0.02) 86.60 (-0.02)
8b710b 88.24 (+0.01) 88.24 (+0.01)
8c6e60 87.69 (+0.01) 87.69 (+0.01)
10dae7 87.16 (+0.01) 87.16 (+0.01)
4c4d3d 86.39 (-0.00) 86.39 (-0.00)
9f94d0 86.73 (-0.02) 86.73 (-0.02)
9f94d0 88.93 (+0.01) 88.93 (+0.01)
9f94d0 87.63 (+0.01) 87.63 (+0.01)
c700c7 86.66 (-0.02) 86.66 (-0.02)
42c6dd 88.36 (-0.01) 88.36 (-0.01)
f6bf7b 89.53 (+0.03) 89.53 (+0.03)
1137b5 87.21 (+0.00) 87.21 (+0.00)
1468c6 86.85 (-0.03) 86.85 (-0.03)
1468c6 89.19 (+0.02) 89.19 (+0.02)
c01f92 87.22 (-0.01) 87.22 (-0.01)
7ff591 88.53 (+0.01) 88.53 (+0.01)
5d4774 87.37 (-0.00) 87.38 (-0.00)
56d8c2 87.74 (+0.01) 87.74 (+0.01)
12e6f4 86.66 (+0.19) 86.66 (+0.19)
12e6f4 72.58 (-0.17) 72.58 (-0.17)
12e6f4 87.52 (-0.01) 87.52 (-0.01)
61194a 88.29 (-0.01) 88.29 (-0.01)
70ce01 89.26 (+0.02) 89.26 (+0.02)
c04c20 87.72 (+0.01) 87.72 (+0.01)
827ee1 87.18 (+0.00) 87.18 (+0.00)
22ae67 86.87 (-0.02) 86.87 (-0.02)
0f4458 88.36 (+0.01) 88.36 (+0.01)
0f4458 87.52 (+60.25) 87.52 (+18.52)
83faef 1.43 4.48

Runs for test_runner/performance/test_perf_olap.py::test_tpch[query11]

platform: rds-postgres

revision Q11/1 total_duration
41aa62 44.10 (-0.07) 44.10 (-0.07)
7b5489 47.23 (-0.02) 47.23 (-0.02)
a23b07 47.99 (-0.02) 47.99 (-0.02)
cc2d00 48.87 (+0.02) 48.87 (+0.02)
ba9df2 48.01 (+0.02) 48.01 (+0.02)
a8f354 47.20 (+0.09) 47.20 (+0.09)
7feb0d 43.28 (-0.14) 43.28 (-0.14)
982fce 50.31 (+0.03) 50.32 (+0.03)
1f151d 48.80 (+0.07) 48.80 (+0.07)
ff1a1a 45.62 (+0.03) 45.62 (+0.03)
b1477b 44.44 (+0.01) 44.44 (+0.01)
1b947f 44.18 (+0.03) 44.18 (+0.03)
a21b55 43.03 (-0.09) 43.03 (-0.09)
4ba950 47.54 (-0.04) 47.54 (-0.04)
4e359d 49.47 (+0.15) 49.47 (+0.15)
3837fc 42.91 (+0.00) 42.91 (+0.00)
edcf4d 42.85 (+0.04) 42.85 (+0.04)
411c71 41.21 (-0.02) 41.21 (-0.02)
854348 42.17 (+0.03) 42.18 (+0.03)
7ba5c2 40.96 (-0.08) 40.97 (-0.08)
ebea29 44.68 (+0.09) 44.68 (+0.09)
22c890 41.15 (-0.05) 41.15 (-0.05)
f0b2e0 43.20 (+0.08) 43.20 (+0.08)
dec580 40.16 (-0.09) 40.16 (-0.09)
dec580 43.99 (+0.08) 44.00 (+0.08)
b1c2a6 40.64 (-0.03) 40.64 (-0.03)
931094 41.92 (+0.00) 41.92 (+0.00)
957acb 41.81 (+0.03) 41.81 (+0.03)
846532 40.42 (-0.10) 40.42 (-0.10)
d733bc 44.67 (+0.07) 44.67 (+0.07)
75ffe3 41.62 (-0.02) 41.62 (-0.02)
75ffe3 42.47 (+0.10) 42.47 (+0.10)
bf4623 38.60 (-0.03) 38.60 (-0.03)
b26c83 39.60 (-0.07) 39.61 (-0.07)
9d714a 42.48 (+0.08) 42.49 (+0.08)
6efea4 39.35 (+0.00) 39.35 (+0.00)
4071ff 39.33 (-0.01) 39.33 (-0.01)
4071ff 39.77 (+0.02) 39.77 (+0.02)
870ba4 39.10 (-0.04) 39.10 (-0.04)
f5ca89 40.78 (-0.08) 40.78 (-0.08)
8bd565 44.31 (+0.06) 44.31 (+0.06)
dd22c8 41.91 (-0.01) 41.91 (-0.01)
299db9 42.24 (+0.03) 42.24 (+0.03)
93f3f4 40.87 (-0.01) 40.87 (-0.01)
f6e2e0 41.12 (-0.05) 41.12 (-0.05)
f6e2e0 43.23 (+0.01) 43.23 (+0.01)
f6e2e0 42.67 (+0.03) 42.67 (+0.03)
f1d960 41.29 (+0.07) 41.29 (+0.07)
4a9279 38.58 (-0.07) 38.58 (-0.07)
2e4bf7 41.43 (-0.01) 41.43 (-0.01)
ce8fbb 41.82 (+0.02) 41.82 (+0.02)
ce8fbb 41.00 (-0.06) 41.00 (-0.06)
ce8fbb 43.70 (+0.09) 43.70 (+0.09)
d1a0f2 40.09 (-0.06) 40.09 (-0.06)
ccf92d 42.57 (+0.10) 42.57 (+0.10)
02b8e0 38.74 (-0.09) 38.75 (-0.09)
7b9057 42.57 (-0.01) 42.57 (-0.01)
9cada8 43.00 (+0.06) 43.00 (+0.06)
9cada8 40.52 (-0.06) 40.52 (-0.06)
9cada8 43.04 (-0.01) 43.04 (-0.01)
a60f68 43.53 (+0.08) 43.53 (+0.08)
d19c52 40.49 (-0.05) 40.49 (-0.05)
000eb1 42.60 (+0.02) 42.61 (+0.02)
000eb1 41.76 (+0.00) 41.76 (+0.00)
f51b48 41.73 (-0.01) 41.73 (-0.01)
f51b48 41.97 (+0.06) 41.97 (+0.06)
f51b48 39.60 (-0.04) 39.60 (-0.04)
9f906f 41.33 (+0.02) 41.33 (+0.02)
0692ff 40.37 (-0.08) 40.37 (-0.08)
2caece 43.77 (+0.02) 43.77 (+0.02)
bc7d3c 43.04 (+0.01) 43.04 (+0.01)
2153d2 42.73 (+0.03) 42.73 (+0.03)
2153d2 41.55 (+0.04) 41.55 (+0.04)
2153d2 39.93 (-0.04) 39.93 (-0.04)
a1b062 41.59 (+0.05) 41.59 (+0.05)
1d9d7c 39.56 (-0.06) 39.56 (-0.06)
3569c1 41.96 (-0.02) 41.96 (-0.02)
eaff14 42.67 (-0.00) 42.67 (-0.00)
f383b4 42.83 (+0.10) 42.83 (+0.10)
f383b4 39.00 (-0.04) 39.00 (-0.04)
f383b4 40.71 (-0.02) 40.71 (-0.02)
a4256b 41.36 (-0.06) 41.37 (-0.06)
371493 43.86 (+0.04) 43.86 (+0.04)
c5c143 42.26 (+0.05) 42.26 (+0.05)
58fa4f 40.08 (+0.00) 40.09 (+0.00)
121d53 39.93 (-0.01) 39.94 (-0.01)
121d53 40.37 (+0.01) 40.37 (+0.01)
ec3a3a 40.12 (-0.04) 40.12 (-0.04)
96e783 41.93 (+0.08) 41.93 (+0.08)
567b71 38.70 (-0.06) 38.70 (-0.06)
847fc5 41.06 (+0.01) 41.06 (+0.01)
5e08b3 40.62 (-0.05) 40.62 (-0.05)
4d291d 42.72 (+0.03) 42.72 (+0.03)
4d291d 41.64 (+0.05) 41.64 (+0.05)
bf63f1 39.62 (-0.03) 39.62 (-0.03)
0a0958 41.01 (-0.01) 41.01 (-0.01)
aabca5 41.22 (+0.06) 41.22 (+0.06)
a4be54 38.88 (-0.06) 38.88 (-0.06)
a3d7ad 41.53 (-0.01) 41.53 (-0.01)
a3d7ad 41.93 (+0.01) 41.93 (+0.01)
8ba169 41.67 (+0.06) 41.67 (+0.06)
e5cc2f 39.30 (-0.09) 39.30 (-0.09)
c6b56d 43.26 (+0.09) 43.26 (+0.09)
e067cd 39.81 (-0.10) 39.81 (-0.10)
bce423 44.23 (+0.09) 44.23 (+0.09)
bce423 40.39 (+0.03) 40.40 (+0.03)
c28bfd 39.34 (-0.07) 39.34 (-0.07)
95bf19 42.48 (-0.02) 42.48 (-0.02)
95bf19 43.20 (-0.11) 43.20 (-0.11)
080752 48.44 (+0.14) 48.44 (+0.14)
23d5e2 42.62 (+0.01) 42.62 (+0.01)
23d5e2 42.37 (+0.08) 42.37 (+0.08)
8b710b 39.29 (+0.02) 39.29 (+0.02)
8c6e60 38.34 (-0.03) 38.34 (-0.03)
10dae7 39.72 (-0.05) 39.72 (-0.05)
4c4d3d 41.70 (-0.09) 41.71 (-0.09)
9f94d0 45.64 (+0.08) 45.64 (+0.08)
9f94d0 42.43 (-0.09) 42.43 (-0.09)
9f94d0 46.39 (+0.04) 46.39 (+0.04)
c700c7 44.63 (+0.01) 44.63 (+0.01)
42c6dd 44.31 (+0.02) 44.31 (+0.02)
f6bf7b 43.63 (-0.01) 43.63 (-0.01)
1137b5 43.99 (-0.04) 43.99 (-0.04)
1468c6 45.59 (+0.08) 45.59 (+0.08)
1468c6 42.23 (-0.02) 42.23 (-0.02)
c01f92 43.04 (-0.00) 43.04 (-0.00)
7ff591 43.25 (+0.00) 43.25 (+0.00)
5d4774 43.07 (-0.06) 43.07 (-0.06)
56d8c2 45.91 (-0.02) 45.91 (-0.02)
12e6f4 47.01 (+0.04) 47.01 (+0.04)
12e6f4 45.22 (+0.06) 45.22 (+0.06)
12e6f4 42.86 (+0.01) 42.86 (+0.01)
61194a 42.50 (-0.05) 42.50 (-0.05)
70ce01 44.53 (-0.08) 44.53 (-0.08)
c04c20 48.48 (+0.13) 48.48 (+0.13)
827ee1 42.98 (-0.10) 42.98 (-0.10)
22ae67 47.53 (+0.07) 47.53 (+0.07)
0f4458 44.23 (-0.09) 44.24 (-0.09)
0f4458 48.79 (+157.31) 48.79 (+49.75)
83faef 0.31 0.96

Runs for test_runner/performance/test_perf_olap.py::test_tpch[query12]

platform: rds-postgres

revision Q12/1 total_duration
41aa62 73.20 (-0.00) 73.20 (-0.00)
7b5489 73.56 (+0.04) 73.56 (+0.04)
a23b07 70.94 (-0.01) 70.95 (-0.01)
cc2d00 71.61 (-0.02) 71.61 (-0.02)
ba9df2 72.73 (+0.01) 72.73 (+0.01)
a8f354 72.14 (-0.02) 72.14 (-0.02)
7feb0d 73.72 (+0.01) 73.72 (+0.01)
982fce 73.25 (+0.01) 73.25 (+0.01)
1f151d 72.38 (-0.04) 72.38 (-0.04)
ff1a1a 75.71 (+0.03) 75.71 (+0.03)
b1477b 73.70 (-0.03) 73.70 (-0.03)
1b947f 75.80 (-0.02) 75.80 (-0.02)
a21b55 77.38 (+0.09) 77.38 (+0.09)
4ba950 71.26 (-0.02) 71.26 (-0.02)
4e359d 72.93 (-0.01) 72.93 (-0.01)
3837fc 73.84 (+0.02) 73.84 (+0.02)
edcf4d 72.36 (-0.03) 72.36 (-0.03)
411c71 74.41 (+0.03) 74.42 (+0.03)
854348 72.02 (-0.08) 72.02 (-0.08)
7ba5c2 78.11 (+0.05) 78.11 (+0.05)
ebea29 74.70 (-0.04) 74.70 (-0.04)
22c890 77.87 (+0.03) 77.87 (+0.03)
f0b2e0 75.33 (+0.01) 75.34 (+0.01)
dec580 74.91 (+0.03) 74.91 (+0.03)
dec580 72.90 (-0.02) 72.90 (-0.02)
b1c2a6 74.47 (+0.03) 74.47 (+0.03)
931094 72.02 (-0.02) 72.02 (-0.02)
957acb 73.34 (-0.03) 73.34 (-0.03)
846532 75.77 (+0.05) 75.77 (+0.05)
d733bc 72.22 (-0.02) 72.22 (-0.02)
75ffe3 73.87 (+0.03) 73.87 (+0.03)
75ffe3 71.89 (-0.04) 71.90 (-0.04)
bf4623 75.09 (+0.04) 75.09 (+0.04)
b26c83 72.42 (+0.01) 72.43 (+0.01)
9d714a 71.67 (-0.04) 71.68 (-0.04)
6efea4 74.32 (+0.04) 74.32 (+0.04)
4071ff 71.77 (-0.06) 71.77 (-0.07)
4071ff 76.76 (+0.04) 76.76 (+0.04)
870ba4 73.63 (+0.02) 73.63 (+0.02)
f5ca89 71.99 (-0.02) 71.99 (-0.02)
8bd565 73.13 (+0.01) 73.13 (+0.01)
dd22c8 72.20 (-0.04) 72.20 (-0.04)
299db9 74.90 (+0.06) 74.90 (+0.06)
93f3f4 70.96 (-0.01) 70.96 (-0.01)
f6e2e0 71.66 (-0.05) 71.66 (-0.05)
f6e2e0 75.08 (+0.03) 75.08 (+0.03)
f6e2e0 72.80 (+0.01) 72.80 (+0.01)
f1d960 71.78 (-0.03) 71.78 (-0.03)
4a9279 73.84 (+0.02) 73.84 (+0.02)
2e4bf7 72.63 (+0.01) 72.63 (+0.01)
ce8fbb 71.74 (+0.01) 71.74 (+0.01)
ce8fbb 70.75 (-0.02) 70.75 (-0.02)
ce8fbb 71.95 (-0.02) 71.95 (-0.02)
d1a0f2 73.52 (+0.04) 73.52 (+0.04)
ccf92d 70.46 (-0.06) 70.46 (-0.06)
02b8e0 74.70 (+0.03) 74.70 (+0.03)
7b9057 72.20 (-0.00) 72.20 (-0.00)
9cada8 72.37 (-0.04) 72.37 (-0.04)
9cada8 75.40 (+0.05) 75.40 (+0.05)
9cada8 71.95 (+0.01) 71.95 (+0.01)
a60f68 71.39 (+0.02) 71.40 (+0.02)
d19c52 70.33 (-0.02) 70.33 (-0.02)
000eb1 71.48 (-0.00) 71.48 (-0.00)
000eb1 71.81 (+0.01) 71.81 (+0.01)
f51b48 71.20 (-0.02) 71.20 (-0.02)
f51b48 72.52 (-0.01) 72.52 (-0.01)
f51b48 73.54 (+0.03) 73.54 (+0.03)
9f906f 71.73 (+0.01) 71.73 (+0.01)
0692ff 70.69 (-0.01) 70.69 (-0.01)
2caece 71.63 (+0.02) 71.63 (+0.02)
bc7d3c 70.13 (-0.02) 70.13 (-0.02)
2153d2 71.24 (-0.01) 71.25 (-0.01)
2153d2 72.10 (-0.03) 72.10 (-0.03)
2153d2 74.08 (+0.05) 74.08 (+0.05)
a1b062 70.22 (-0.05) 70.22 (-0.05)
1d9d7c 74.07 (+0.03) 74.07 (+0.03)
3569c1 72.15 (+0.00) 72.15 (+0.00)
eaff14 72.07 (+0.04) 72.08 (+0.04)
f383b4 69.44 (-0.03) 69.44 (-0.03)
f383b4 71.28 (+0.01) 71.28 (+0.01)
f383b4 70.61 (-0.00) 70.62 (-0.00)
a4256b 70.80 (-0.01) 70.80 (-0.01)
371493 71.58 (-0.00) 71.58 (-0.00)
c5c143 71.81 (-0.05) 71.81 (-0.05)
58fa4f 75.65 (+0.06) 75.65 (+0.06)
121d53 71.57 (-0.03) 71.57 (-0.03)
121d53 74.06 (+0.04) 74.07 (+0.04)
ec3a3a 71.28 (+0.01) 71.28 (+0.01)
96e783 70.44 (-0.07) 70.44 (-0.07)
567b71 75.36 (+0.02) 75.36 (+0.02)
847fc5 73.55 (+0.01) 73.56 (+0.02)
5e08b3 72.47 (+0.01) 72.47 (+0.01)
4d291d 71.68 (-0.02) 71.69 (-0.02)
4d291d 73.13 (-0.02) 73.13 (-0.02)
bf63f1 74.35 (+0.04) 74.35 (+0.03)
0a0958 71.83 (-0.00) 71.84 (-0.00)
aabca5 72.14 (-0.02) 72.14 (-0.02)
a4be54 73.68 (+0.03) 73.68 (+0.03)
a3d7ad 71.59 (-0.02) 71.59 (-0.02)
a3d7ad 73.11 (+0.03) 73.11 (+0.03)
8ba169 70.67 (-0.05) 70.67 (-0.05)
e5cc2f 74.62 (+0.07) 74.62 (+0.07)
c6b56d 69.71 (-0.04) 69.71 (-0.04)
e067cd 72.56 (+0.02) 72.56 (+0.02)
bce423 70.99 (+0.01) 70.99 (+0.01)
bce423 70.36 (-0.03) 70.36 (-0.03)
c28bfd 72.53 (+0.04) 72.53 (+0.04)
95bf19 69.95 (-0.01) 69.95 (-0.01)
95bf19 70.57 (-0.02) 70.57 (-0.02)
080752 71.76 (-0.01) 71.76 (-0.01)
23d5e2 72.43 (+0.01) 72.43 (+0.01)
23d5e2 71.89 (-0.02) 71.90 (-0.02)
8b710b 73.27 (-0.01) 73.27 (-0.01)
8c6e60 74.32 (+0.05) 74.33 (+0.05)
10dae7 70.55 (-0.02) 70.55 (-0.02)
4c4d3d 72.24 (+0.00) 72.24 (+0.00)
9f94d0 72.21 (-0.03) 72.21 (-0.03)
9f94d0 74.09 (+0.05) 74.09 (+0.05)
9f94d0 70.42 (-0.02) 70.42 (-0.02)
c700c7 71.50 (-0.05) 71.50 (-0.05)
42c6dd 74.98 (-0.01) 74.98 (-0.01)
f6bf7b 75.41 (+0.04) 75.42 (+0.04)
1137b5 72.51 (+0.00) 72.51 (+0.00)
1468c6 72.45 (-0.01) 72.46 (-0.01)
1468c6 73.49 (+0.04) 73.49 (+0.04)
c01f92 70.35 (-0.05) 70.35 (-0.05)
7ff591 74.14 (+0.03) 74.14 (+0.03)
5d4774 72.16 (-0.01) 72.16 (-0.01)
56d8c2 73.20 (+0.03) 73.20 (+0.03)
12e6f4 71.05 (-0.04) 71.05 (-0.04)
12e6f4 73.81 (+0.04) 73.82 (+0.04)
12e6f4 71.14 (-0.04) 71.14 (-0.04)
61194a 73.89 (-0.01) 73.89 (-0.01)
70ce01 74.69 (+0.01) 74.70 (+0.01)
c04c20 73.84 (+0.01) 73.84 (+0.01)
827ee1 73.37 (+0.04) 73.38 (+0.04)
22ae67 70.89 (-0.01) 70.89 (-0.01)
0f4458 71.70 (+0.02) 71.70 (+0.02)
0f4458 70.53 (+46.28) 70.53 (+14.66)
83faef 1.49 4.50

Runs for test_runner/performance/test_perf_olap.py::test_tpch[query13]

platform: rds-postgres

revision Q13/1 total_duration
41aa62 19.35 (+0.17) 19.35 (+0.17)
7b5489 16.57 (-0.04) 16.57 (-0.04)
a23b07 17.32 (+0.07) 17.32 (+0.07)
cc2d00 16.19 (-0.02) 16.19 (-0.02)
ba9df2 16.57 (-0.03) 16.57 (-0.03)
a8f354 17.15 (+0.00) 17.15 (+0.00)
7feb0d 17.10 (+0.05) 17.10 (+0.05)
982fce 16.28 (-0.03) 16.28 (-0.03)
1f151d 16.75 (+0.02) 16.75 (+0.02)
ff1a1a 16.45 (+0.01) 16.45 (+0.01)
b1477b 16.35 (-0.02) 16.35 (-0.02)
1b947f 16.70 (-0.10) 16.70 (-0.10)
a21b55 18.47 (+0.12) 18.47 (+0.12)
4ba950 16.49 (-0.01) 16.49 (-0.01)
4e359d 16.63 (-0.09) 16.64 (-0.09)
3837fc 18.33 (-0.00) 18.33 (-0.00)
edcf4d 18.34 (-0.01) 18.34 (-0.01)
411c71 18.47 (+0.11) 18.47 (+0.11)
854348 16.63 (-0.19) 16.64 (-0.19)
7ba5c2 20.48 (+0.19) 20.48 (+0.19)
ebea29 17.14 (+0.06) 17.14 (+0.06)
22c890 16.18 (-0.07) 16.18 (-0.07)
f0b2e0 17.33 (+0.06) 17.33 (+0.06)
dec580 16.39 (-0.03) 16.39 (-0.03)
dec580 16.89 (+0.07) 16.90 (+0.07)
b1c2a6 15.85 (-0.02) 15.86 (-0.02)
931094 16.23 (-0.00) 16.24 (-0.00)
957acb 16.24 (-0.01) 16.24 (-0.02)
846532 16.49 (+0.01) 16.49 (+0.01)
d733bc 16.38 (-0.03) 16.38 (-0.03)
75ffe3 16.92 (-0.07) 16.92 (-0.07)
75ffe3 18.28 (-0.04) 18.28 (-0.04)
bf4623 18.95 (+0.16) 18.95 (+0.16)
b26c83 16.38 (-0.03) 16.38 (-0.03)
9d714a 16.94 (+0.04) 16.95 (+0.04)
6efea4 16.35 (+0.02) 16.35 (+0.02)
4071ff 15.97 (-0.15) 15.97 (-0.15)
4071ff 18.88 (+0.16) 18.88 (+0.16)
870ba4 16.34 (-0.00) 16.34 (-0.00)
f5ca89 16.37 (-0.01) 16.37 (-0.01)
8bd565 16.60 (-0.04) 16.60 (-0.04)
dd22c8 17.32 (+0.06) 17.33 (+0.06)
299db9 16.40 (-0.01) 16.40 (-0.01)
93f3f4 16.61 (-0.02) 16.61 (-0.02)
f6e2e0 16.99 (+0.04) 16.99 (+0.04)
f6e2e0 16.30 (-0.10) 16.30 (-0.10)
f6e2e0 18.16 (+0.13) 18.16 (+0.13)
f1d960 16.01 (-0.04) 16.01 (-0.04)
4a9279 16.65 (-0.06) 16.65 (-0.06)
2e4bf7 17.63 (+0.04) 17.63 (+0.04)
ce8fbb 16.95 (+0.05) 16.95 (+0.05)
ce8fbb 16.12 (-0.05) 16.12 (-0.05)
ce8fbb 17.05 (+0.04) 17.05 (+0.04)
d1a0f2 16.44 (+0.01) 16.44 (+0.01)
ccf92d 16.26 (-0.08) 16.26 (-0.08)
02b8e0 17.74 (+0.05) 17.74 (+0.05)
7b9057 16.97 (+0.06) 16.98 (+0.06)
9cada8 16.06 (-0.14) 16.06 (-0.14)
9cada8 18.60 (+0.18) 18.60 (+0.18)
9cada8 15.73 (-0.11) 15.73 (-0.11)
a60f68 17.64 (+0.12) 17.64 (+0.12)
d19c52 15.77 (-0.01) 15.77 (-0.01)
000eb1 15.93 (-0.00) 15.93 (-0.00)
000eb1 15.97 (-0.06) 15.97 (-0.06)
f51b48 17.07 (+0.04) 17.07 (+0.04)
f51b48 16.37 (-0.01) 16.37 (-0.01)
f51b48 16.61 (+0.01) 16.61 (+0.01)
9f906f 16.45 (+0.02) 16.45 (+0.02)
0692ff 16.15 (-0.04) 16.15 (-0.04)
2caece 16.89 (+0.02) 16.89 (+0.02)
bc7d3c 16.51 (-0.00) 16.51 (-0.00)
2153d2 16.51 (+0.03) 16.51 (+0.03)
2153d2 16.01 (-0.01) 16.01 (-0.01)
2153d2 16.15 (+0.02) 16.15 (+0.02)
a1b062 15.87 (-0.11) 15.87 (-0.11)
1d9d7c 17.78 (+0.10) 17.78 (+0.10)
3569c1 16.12 (-0.08) 16.12 (-0.08)
eaff14 17.61 (+0.02) 17.61 (+0.02)
f383b4 17.19 (+0.07) 17.19 (+0.07)
f383b4 16.05 (+0.00) 16.05 (+0.00)
f383b4 16.04 (-0.09) 16.04 (-0.09)
a4256b 17.65 (+0.04) 17.65 (+0.04)
371493 16.92 (-0.05) 16.92 (-0.05)
c5c143 17.86 (+0.06) 17.86 (+0.06)
58fa4f 16.77 (-0.02) 16.78 (-0.02)
121d53 17.20 (+0.01) 17.20 (+0.01)
121d53 16.96 (+0.08) 16.96 (+0.08)
ec3a3a 15.78 (+0.01) 15.78 (+0.01)
96e783 15.58 (-0.10) 15.58 (-0.10)
567b71 17.33 (+0.04) 17.33 (+0.04)
847fc5 16.65 (-0.09) 16.65 (-0.09)
5e08b3 18.24 (+0.09) 18.24 (+0.09)
4d291d 16.78 (+0.07) 16.79 (+0.07)
4d291d 15.72 (-0.15) 15.73 (-0.15)
bf63f1 18.50 (+0.13) 18.51 (+0.13)
0a0958 16.42 (-0.04) 16.42 (-0.04)
aabca5 17.19 (+0.07) 17.19 (+0.07)
a4be54 16.14 (-0.02) 16.14 (-0.02)
a3d7ad 16.45 (-0.05) 16.45 (-0.05)
a3d7ad 17.37 (+0.08) 17.37 (+0.08)
8ba169 16.07 (-0.10) 16.07 (-0.10)
e5cc2f 17.80 (+0.13) 17.80 (+0.13)
c6b56d 15.79 (-0.12) 15.79 (-0.12)
e067cd 17.94 (-0.01) 17.94 (-0.01)
bce423 18.09 (+0.09) 18.10 (+0.09)
bce423 16.66 (-0.12) 16.66 (-0.12)
c28bfd 18.96 (+0.11) 18.96 (+0.11)
95bf19 17.04 (+0.01) 17.04 (+0.01)
95bf19 16.90 (+0.06) 16.90 (+0.06)
080752 15.95 (+0.01) 15.95 (+0.01)
23d5e2 15.79 (-0.06) 15.79 (-0.06)
23d5e2 16.76 (+0.06) 16.76 (+0.06)
8b710b 15.75 (-0.02) 15.75 (-0.02)
8c6e60 16.11 (-0.08) 16.11 (-0.08)
10dae7 17.58 (+0.09) 17.58 (+0.09)
4c4d3d 16.09 (-0.12) 16.10 (-0.12)
9f94d0 18.25 (+0.11) 18.25 (+0.11)
9f94d0 16.40 (+0.01) 16.40 (+0.01)
9f94d0 16.20 (-0.13) 16.20 (-0.13)
c700c7 18.55 (+0.14) 18.55 (+0.14)
42c6dd 16.26 (-0.09) 16.26 (-0.09)
f6bf7b 17.95 (+0.05) 17.95 (+0.05)
1137b5 17.09 (+0.07) 17.09 (+0.07)
1468c6 16.04 (-0.07) 16.04 (-0.07)
1468c6 17.24 (-0.01) 17.24 (-0.01)
c01f92 17.33 (+0.07) 17.33 (+0.07)
7ff591 16.14 (-0.01) 16.14 (-0.01)
5d4774 16.32 (-0.11) 16.32 (-0.11)
56d8c2 18.30 (+0.06) 18.30 (+0.06)
12e6f4 17.24 (+0.08) 17.24 (+0.08)
12e6f4 15.99 (+0.03) 15.99 (+0.03)
12e6f4 15.59 (-0.04) 15.59 (-0.04)
61194a 16.26 (+0.03) 16.26 (+0.03)
70ce01 15.73 (-0.13) 15.73 (-0.13)
c04c20 18.12 (+0.12) 18.12 (+0.12)
827ee1 16.24 (+0.02) 16.24 (+0.02)
22ae67 15.98 (-0.08) 15.98 (-0.08)
0f4458 17.32 (+0.10) 17.32 (+0.10)
0f4458 15.74 (+10.12) 15.74 (+2.48)
83faef 1.42 4.53

Runs for test_runner/performance/test_perf_olap.py::test_tpch[query14]

platform: rds-postgres

revision Q14/1 total_duration
41aa62 64.56 (-0.13) 64.57 (-0.13)
7b5489 74.25 (+0.00) 74.25 (+0.00)
a23b07 74.21 (+0.18) 74.22 (+0.18)
cc2d00 63.07 (-0.00) 63.07 (-0.00)
ba9df2 63.24 (-0.15) 63.24 (-0.15)
a8f354 74.22 (+0.14) 74.22 (+0.14)
7feb0d 65.35 (+0.03) 65.35 (+0.03)
982fce 63.50 (+0.00) 63.50 (+0.00)
1f151d 63.24 (-0.04) 63.24 (-0.04)
ff1a1a 65.65 (-0.12) 65.65 (-0.12)
b1477b 74.28 (+0.11) 74.28 (+0.11)
1b947f 66.91 (-0.11) 66.91 (-0.11)
a21b55 74.78 (+0.18) 74.79 (+0.18)
4ba950 63.36 (-0.15) 63.36 (-0.15)
4e359d 74.25 (-0.00) 74.25 (-0.00)
3837fc 74.27 (+0.00) 74.27 (+0.00)
edcf4d 74.26 (-0.00) 74.26 (-0.00)
411c71 74.27 (+0.16) 74.27 (+0.16)
854348 63.85 (-0.12) 63.85 (-0.12)
7ba5c2 72.65 (+0.12) 72.66 (+0.12)
ebea29 64.89 (-0.13) 64.89 (-0.13)
22c890 74.26 (+0.14) 74.26 (+0.14)
f0b2e0 65.32 (-0.00) 65.32 (-0.00)
dec580 65.48 (+0.03) 65.48 (+0.03)
dec580 63.84 (-0.02) 63.84 (-0.02)
b1c2a6 65.16 (+0.01) 65.16 (+0.01)
931094 64.28 (-0.14) 64.28 (-0.14)
957acb 74.83 (+0.00) 74.83 (+0.00)
846532 74.78 (+0.01) 74.78 (+0.01)
d733bc 74.26 (+0.14) 74.26 (+0.14)
75ffe3 65.00 (-0.12) 65.00 (-0.12)
75ffe3 74.26 (-0.01) 74.26 (-0.01)
bf4623 74.77 (+0.19) 74.77 (+0.19)
b26c83 62.79 (-0.14) 62.79 (-0.14)
9d714a 73.13 (+0.14) 73.13 (+0.14)
6efea4 64.18 (+0.02) 64.18 (+0.02)
4071ff 62.66 (-0.11) 62.66 (-0.11)
4071ff 70.33 (-0.05) 70.33 (-0.05)
870ba4 74.26 (+0.18) 74.26 (+0.18)
f5ca89 62.98 (-0.13) 62.98 (-0.13)
8bd565 72.55 (-0.02) 72.55 (-0.02)
dd22c8 74.26 (+0.14) 74.26 (+0.14)
299db9 64.89 (-0.13) 64.89 (-0.13)
93f3f4 74.25 (+0.20) 74.25 (+0.20)
f6e2e0 61.95 (-0.04) 61.95 (-0.04)
f6e2e0 64.42 (-0.13) 64.42 (-0.13)
f6e2e0 74.27 (+0.19) 74.27 (+0.19)
f1d960 62.35 (-0.17) 62.35 (-0.17)
4a9279 74.78 (+0.01) 74.78 (+0.01)
2e4bf7 74.25 (+0.16) 74.25 (+0.16)
ce8fbb 63.84 (-0.15) 63.84 (-0.15)
ce8fbb 74.92 (+0.21) 74.92 (+0.21)
ce8fbb 61.88 (-0.06) 61.88 (-0.06)
d1a0f2 65.57 (-0.12) 65.57 (-0.12)
ccf92d 74.87 (+0.01) 74.87 (+0.01)
02b8e0 74.32 (+0.00) 74.32 (+0.00)
7b9057 74.26 (+0.19) 74.26 (+0.19)
9cada8 62.22 (-0.16) 62.23 (-0.16)
9cada8 74.26 (+0.20) 74.26 (+0.20)
9cada8 61.77 (-0.17) 61.77 (-0.17)
a60f68 74.34 (+0.18) 74.34 (+0.18)
d19c52 62.87 (+0.02) 62.87 (+0.02)
000eb1 61.83 (+0.01) 61.83 (+0.01)
000eb1 61.32 (-0.01) 61.32 (-0.01)
f51b48 62.08 (-0.16) 62.08 (-0.16)
f51b48 74.27 (+0.00) 74.27 (+0.00)
f51b48 74.26 (+0.18) 74.26 (+0.18)
9f906f 62.81 (+0.00) 62.81 (+0.00)
0692ff 62.76 (-0.15) 62.76 (-0.15)
2caece 74.25 (+0.18) 74.25 (+0.18)
bc7d3c 62.67 (+0.01) 62.67 (+0.01)
2153d2 62.26 (-0.01) 62.26 (-0.01)
2153d2 62.64 (-0.16) 62.64 (-0.16)
2153d2 74.25 (+0.21) 74.25 (+0.21)
a1b062 61.18 (-0.18) 61.18 (-0.18)
1d9d7c 74.78 (+0.21) 74.78 (+0.21)
3569c1 61.92 (-0.17) 61.92 (-0.17)
eaff14 74.83 (+0.23) 74.83 (+0.22)
f383b4 61.09 (-0.18) 61.09 (-0.18)
f383b4 74.78 (+0.01) 74.78 (+0.01)
f383b4 74.26 (-0.01) 74.26 (-0.01)
a4256b 74.76 (+0.01) 74.76 (+0.01)
371493 74.33 (+0.00) 74.33 (+0.00)
c5c143 74.26 (-0.00) 74.26 (-0.00)
58fa4f 74.26 (+0.18) 74.27 (+0.18)
121d53 63.18 (-0.02) 63.19 (-0.02)
121d53 64.20 (+0.03) 64.20 (+0.03)
ec3a3a 62.45 (+0.00) 62.45 (+0.00)
96e783 62.16 (-0.06) 62.16 (-0.06)
567b71 66.36 (+0.06) 66.36 (+0.06)
847fc5 62.64 (-0.00) 62.64 (-0.00)
5e08b3 62.87 (-0.16) 62.87 (-0.16)
4d291d 74.48 (+0.18) 74.48 (+0.18)
4d291d 63.30 (-0.15) 63.30 (-0.15)
bf63f1 74.25 (+0.20) 74.25 (+0.20)
0a0958 62.11 (-0.17) 62.11 (-0.17)
aabca5 74.77 (+0.17) 74.78 (+0.17)
a4be54 63.97 (-0.14) 63.97 (-0.14)
a3d7ad 74.78 (+0.20) 74.78 (+0.20)
a3d7ad 62.27 (-0.16) 62.27 (-0.16)
8ba169 74.30 (+0.00) 74.30 (+0.00)
e5cc2f 74.30 (+0.21) 74.30 (+0.21)
c6b56d 61.64 (-0.18) 61.64 (-0.18)
e067cd 74.76 (+0.01) 74.76 (+0.01)
bce423 74.25 (+0.20) 74.25 (+0.20)
bce423 62.06 (-0.14) 62.06 (-0.14)
c28bfd 72.38 (-0.03) 72.38 (-0.03)
95bf19 74.73 (+0.01) 74.74 (+0.01)
95bf19 74.21 (-0.00) 74.21 (-0.00)
080752 74.23 (+0.20) 74.23 (+0.20)
23d5e2 61.67 (-0.01) 61.67 (-0.01)
23d5e2 62.20 (-0.03) 62.20 (-0.03)
8b710b 63.88 (+0.00) 63.89 (+0.00)
8c6e60 63.72 (-0.15) 63.72 (-0.15)
10dae7 74.74 (+0.19) 74.74 (+0.19)
4c4d3d 62.55 (-0.16) 62.56 (-0.16)
9f94d0 74.73 (+0.17) 74.73 (+0.17)
9f94d0 64.15 (-0.14) 64.15 (-0.14)
9f94d0 74.29 (+0.13) 74.29 (+0.13)
c700c7 65.60 (-0.03) 65.60 (-0.03)
42c6dd 67.48 (-0.00) 67.48 (-0.00)
f6bf7b 67.68 (+0.08) 67.68 (+0.08)
1137b5 62.66 (-0.16) 62.66 (-0.16)
1468c6 74.23 (+0.13) 74.23 (+0.13)
1468c6 65.44 (+0.04) 65.44 (+0.04)
c01f92 62.63 (-0.16) 62.63 (-0.16)
7ff591 74.75 (+0.16) 74.75 (+0.16)
5d4774 64.50 (-0.13) 64.50 (-0.13)
56d8c2 74.22 (+0.21) 74.23 (+0.21)
12e6f4 61.33 (-0.18) 61.34 (-0.18)
12e6f4 74.74 (+0.21) 74.74 (+0.21)
12e6f4 61.91 (-0.17) 61.91 (-0.17)
61194a 74.22 (+0.14) 74.22 (+0.14)
70ce01 65.10 (-0.12) 65.10 (-0.12)
c04c20 74.23 (+0.17) 74.24 (+0.17)
827ee1 63.23 (-0.15) 63.23 (-0.15)
22ae67 74.73 (-0.00) 74.73 (-0.00)
0f4458 74.74 (+0.01) 74.74 (+0.01)
0f4458 74.21 (+82.95) 74.21 (+25.98)
83faef 0.88 2.75

Runs for test_runner/performance/test_perf_olap.py::test_tpch[query15]

platform: rds-postgres

revision Q15/1 total_duration
41aa62 126.70 (-0.13) 126.70 (-0.13)
7b5489 145.86 (-0.00) 145.86 (-0.00)
a23b07 145.87 (+0.18) 145.87 (+0.18)
cc2d00 123.84 (+0.00) 123.84 (+0.00)
ba9df2 123.75 (-0.15) 123.75 (-0.15)
a8f354 145.76 (+0.14) 145.76 (+0.14)
7feb0d 127.99 (+0.03) 127.99 (+0.03)
982fce 124.46 (+0.02) 124.46 (+0.02)
1f151d 122.52 (-0.04) 122.52 (-0.04)
ff1a1a 128.01 (-0.12) 128.01 (-0.12)
b1477b 145.73 (+0.11) 145.74 (+0.11)
1b947f 131.28 (-0.10) 131.28 (-0.10)
a21b55 145.39 (+0.17) 145.39 (+0.17)
4ba950 124.41 (-0.15) 124.41 (-0.15)
4e359d 145.88 (-0.00) 145.89 (-0.00)
3837fc 145.93 (+0.00) 145.93 (+0.00)
edcf4d 145.40 (-0.00) 145.40 (-0.00)
411c71 145.76 (+0.17) 145.76 (+0.17)
854348 124.31 (-0.13) 124.31 (-0.13)
7ba5c2 142.43 (+0.12) 142.43 (+0.12)
ebea29 126.64 (-0.13) 126.64 (-0.13)
22c890 145.97 (+0.15) 145.97 (+0.15)
f0b2e0 127.26 (-0.00) 127.27 (-0.00)
dec580 127.87 (+0.03) 127.88 (+0.03)
dec580 124.53 (-0.02) 124.53 (-0.02)
b1c2a6 127.45 (+0.01) 127.45 (+0.01)
931094 125.80 (-0.13) 125.81 (-0.13)
957acb 145.30 (-0.00) 145.30 (-0.00)
846532 145.36 (-0.00) 145.36 (-0.00)
d733bc 145.89 (+0.14) 145.89 (+0.14)
75ffe3 127.49 (-0.12) 127.49 (-0.12)
75ffe3 145.17 (-0.00) 145.17 (-0.00)
bf4623 145.30 (+0.19) 145.30 (+0.19)
b26c83 122.36 (-0.15) 122.36 (-0.15)
9d714a 143.51 (+0.15) 143.51 (+0.15)
6efea4 125.07 (+0.02) 125.07 (+0.02)
4071ff 122.58 (-0.10) 122.58 (-0.10)
4071ff 136.35 (-0.06) 136.35 (-0.06)
870ba4 145.70 (+0.20) 145.70 (+0.20)
f5ca89 121.57 (-0.14) 121.57 (-0.14)
8bd565 141.99 (-0.02) 141.99 (-0.02)
dd22c8 145.27 (+0.15) 145.27 (+0.15)
299db9 126.22 (-0.13) 126.22 (-0.13)
93f3f4 145.81 (+0.20) 145.81 (+0.20)
f6e2e0 121.62 (-0.04) 121.62 (-0.04)
f6e2e0 126.07 (-0.13) 126.07 (-0.13)
f6e2e0 145.69 (+0.19) 145.69 (+0.19)
f1d960 122.27 (-0.16) 122.27 (-0.16)
4a9279 145.17 (-0.00) 145.17 (-0.00)
2e4bf7 145.63 (+0.17) 145.63 (+0.17)
ce8fbb 124.28 (-0.15) 124.28 (-0.15)
ce8fbb 145.49 (+0.20) 145.49 (+0.20)
ce8fbb 121.12 (-0.05) 121.12 (-0.05)
d1a0f2 128.04 (-0.12) 128.04 (-0.12)
ccf92d 145.17 (-0.00) 145.17 (-0.00)
02b8e0 145.66 (-0.00) 145.66 (-0.00)
7b9057 145.81 (+0.20) 145.81 (+0.20)
9cada8 121.67 (-0.16) 121.67 (-0.16)
9cada8 145.65 (+0.21) 145.65 (+0.21)
9cada8 120.64 (-0.17) 120.64 (-0.17)
a60f68 145.69 (+0.19) 145.69 (+0.19)
d19c52 122.29 (+0.01) 122.29 (+0.01)
000eb1 120.86 (+0.01) 120.87 (+0.01)
000eb1 119.45 (-0.02) 119.45 (-0.02)
f51b48 121.75 (-0.16) 121.75 (-0.16)
f51b48 145.67 (+0.00) 145.68 (+0.00)
f51b48 145.10 (+0.20) 145.10 (+0.20)
9f906f 121.28 (-0.01) 121.28 (-0.01)
0692ff 122.46 (-0.16) 122.46 (-0.16)
2caece 145.80 (+0.20) 145.80 (+0.20)
bc7d3c 121.52 (+0.00) 121.52 (+0.00)
2153d2 121.25 (-0.01) 121.25 (-0.01)
2153d2 121.90 (-0.16) 121.90 (-0.16)
2153d2 145.13 (+0.21) 145.13 (+0.21)
a1b062 119.83 (-0.17) 119.83 (-0.17)
1d9d7c 145.12 (+0.20) 145.12 (+0.20)
3569c1 120.78 (-0.17) 120.78 (-0.17)
eaff14 145.82 (+0.22) 145.82 (+0.22)
f383b4 119.53 (-0.18) 119.53 (-0.18)
f383b4 145.30 (-0.00) 145.30 (-0.00)
f383b4 145.67 (+0.00) 145.67 (+0.00)
a4256b 145.17 (-0.00) 145.17 (-0.00)
371493 145.20 (-0.00) 145.20 (-0.00)
c5c143 145.72 (+0.00) 145.72 (+0.00)
58fa4f 145.07 (+0.18) 145.08 (+0.18)
121d53 123.43 (-0.01) 123.43 (-0.01)
121d53 124.84 (+0.02) 124.84 (+0.02)
ec3a3a 121.96 (+0.01) 121.96 (+0.01)
96e783 120.28 (-0.07) 120.28 (-0.07)
567b71 129.04 (+0.06) 129.04 (+0.06)
847fc5 121.92 (-0.00) 121.92 (-0.00)
5e08b3 122.50 (-0.16) 122.50 (-0.16)
4d291d 145.84 (+0.18) 145.84 (+0.18)
4d291d 123.69 (-0.15) 123.69 (-0.15)
bf63f1 145.70 (+0.20) 145.70 (+0.20)
0a0958 121.21 (-0.16) 121.21 (-0.16)
aabca5 145.13 (+0.16) 145.13 (+0.16)
a4be54 124.89 (-0.14) 124.89 (-0.14)
a3d7ad 145.08 (+0.20) 145.08 (+0.20)
a3d7ad 121.16 (-0.17) 121.16 (-0.17)
8ba169 145.74 (+0.00) 145.74 (+0.00)
e5cc2f 145.68 (+0.22) 145.69 (+0.22)
c6b56d 119.08 (-0.18) 119.08 (-0.18)
e067cd 145.46 (-0.00) 145.46 (-0.00)
bce423 145.68 (+0.19) 145.68 (+0.19)
bce423 122.75 (-0.13) 122.75 (-0.13)
c28bfd 141.36 (-0.03) 141.36 (-0.03)
95bf19 145.13 (+0.00) 145.13 (+0.00)
95bf19 145.10 (-0.00) 145.10 (-0.00)
080752 145.72 (+0.21) 145.72 (+0.21)
23d5e2 120.25 (+0.00) 120.26 (+0.00)
23d5e2 120.14 (-0.04) 120.14 (-0.04)
8b710b 125.30 (+0.01) 125.31 (+0.01)
8c6e60 124.11 (-0.14) 124.11 (-0.14)
10dae7 144.99 (+0.19) 144.99 (+0.19)
4c4d3d 121.41 (-0.16) 121.41 (-0.16)
9f94d0 145.05 (+0.15) 145.05 (+0.15)
9f94d0 125.70 (-0.14) 125.70 (-0.14)
9f94d0 145.66 (+0.15) 145.66 (+0.15)
c700c7 126.95 (-0.03) 126.95 (-0.03)
42c6dd 131.31 (-0.01) 131.31 (-0.01)
f6bf7b 132.52 (+0.08) 132.52 (+0.08)
1137b5 122.92 (-0.16) 122.92 (-0.16)
1468c6 145.56 (+0.14) 145.56 (+0.14)
1468c6 128.05 (+0.05) 128.05 (+0.05)
c01f92 122.24 (-0.16) 122.24 (-0.16)
7ff591 145.28 (+0.17) 145.28 (+0.17)
5d4774 124.47 (-0.15) 124.47 (-0.15)
56d8c2 145.72 (+0.22) 145.72 (+0.22)
12e6f4 119.43 (-0.18) 119.43 (-0.18)
12e6f4 145.42 (+0.20) 145.42 (+0.20)
12e6f4 121.37 (-0.17) 121.37 (-0.17)
61194a 145.61 (+0.14) 145.61 (+0.14)
70ce01 127.65 (-0.12) 127.65 (-0.12)
c04c20 145.58 (+0.18) 145.58 (+0.18)
827ee1 123.21 (-0.15) 123.21 (-0.15)
22ae67 145.23 (+0.00) 145.23 (+0.00)
0f4458 144.97 (-0.00) 144.97 (-0.00)
0f4458 145.60 (+79.55) 145.60 (+24.69)
83faef 1.81 5.67

Runs for test_runner/performance/test_perf_olap.py::test_tpch[query16]

platform: rds-postgres

revision Q16/1 total_duration
41aa62 9.68 (+0.06) 9.68 (+0.06)
7b5489 9.15 (-0.06) 9.15 (-0.06)
a23b07 9.77 (+0.02) 9.77 (+0.02)
cc2d00 9.58 (-0.04) 9.58 (-0.04)
ba9df2 10.00 (-0.04) 10.00 (-0.04)
a8f354 10.40 (+0.08) 10.40 (+0.08)
7feb0d 9.62 (+0.01) 9.63 (+0.01)
982fce 9.57 (-0.05) 9.57 (-0.05)
1f151d 10.05 (-0.02) 10.05 (-0.02)
ff1a1a 10.25 (+0.09) 10.25 (+0.09)
b1477b 9.42 (-0.03) 9.42 (-0.03)
1b947f 9.70 (+0.03) 9.70 (+0.03)
a21b55 9.38 (-0.02) 9.38 (-0.02)
4ba950 9.58 (-0.07) 9.59 (-0.07)
4e359d 10.31 (+0.10) 10.31 (+0.10)
3837fc 9.37 (+0.00) 9.37 (+0.00)
edcf4d 9.36 (-0.01) 9.36 (-0.01)
411c71 9.47 (-0.01) 9.47 (-0.01)
854348 9.59 (+0.05) 9.59 (+0.05)
7ba5c2 9.17 (-0.01) 9.17 (-0.01)
ebea29 9.30 (+0.05) 9.30 (+0.05)
22c890 8.89 (-0.04) 8.89 (-0.04)
f0b2e0 9.27 (-0.00) 9.27 (-0.00)
dec580 9.29 (+0.03) 9.29 (+0.03)
dec580 9.00 (+0.00) 9.00 (+0.00)
b1c2a6 8.98 (-0.01) 8.98 (-0.01)
931094 9.06 (+0.02) 9.06 (+0.02)
957acb 8.85 (-0.07) 8.85 (-0.07)
846532 9.48 (+0.05) 9.48 (+0.05)
d733bc 9.05 (-0.04) 9.06 (-0.04)
75ffe3 9.43 (+0.05) 9.43 (+0.05)
75ffe3 8.96 (-0.02) 8.96 (-0.02)
bf4623 9.11 (+0.04) 9.11 (+0.04)
b26c83 8.75 (-0.09) 8.75 (-0.09)
9d714a 9.65 (+0.07) 9.65 (+0.07)
6efea4 9.00 (-0.07) 9.00 (-0.07)
4071ff 9.70 (+0.09) 9.70 (+0.09)
4071ff 8.88 (-0.00) 8.88 (-0.00)
870ba4 8.89 (-0.01) 8.89 (-0.01)
f5ca89 9.01 (+0.01) 9.01 (+0.00)
8bd565 8.97 (-0.01) 8.97 (-0.01)
dd22c8 9.09 (+0.00) 9.10 (+0.00)
299db9 9.09 (+0.04) 9.09 (+0.04)
93f3f4 8.77 (-0.03) 8.77 (-0.03)
f6e2e0 9.00 (-0.01) 9.00 (-0.01)
f6e2e0 9.10 (-0.02) 9.10 (-0.02)
f6e2e0 9.25 (+0.01) 9.25 (+0.01)
f1d960 9.17 (+0.01) 9.17 (+0.01)
4a9279 9.07 (-0.01) 9.07 (-0.01)
2e4bf7 9.20 (+0.01) 9.20 (+0.01)
ce8fbb 9.15 (+0.01) 9.15 (+0.01)
ce8fbb 9.04 (-0.03) 9.04 (-0.03)
ce8fbb 9.30 (-0.07) 9.30 (-0.07)
d1a0f2 10.04 (+0.13) 10.04 (+0.13)
ccf92d 8.92 (-0.02) 8.92 (-0.02)
02b8e0 9.09 (-0.02) 9.09 (-0.02)
7b9057 9.29 (+0.04) 9.29 (+0.04)
9cada8 8.91 (+0.00) 8.92 (+0.00)
9cada8 8.88 (-0.00) 8.88 (-0.00)
9cada8 8.92 (-0.03) 8.92 (-0.03)
a60f68 9.23 (+0.03) 9.23 (+0.03)
d19c52 8.97 (+0.01) 8.97 (+0.01)
000eb1 8.92 (-0.02) 8.92 (-0.02)
000eb1 9.11 (+0.03) 9.11 (+0.03)
f51b48 8.86 (-0.01) 8.86 (-0.01)
f51b48 8.97 (+0.02) 8.97 (+0.02)
f51b48 8.77 (-0.02) 8.77 (-0.02)
9f906f 8.95 (+0.01) 8.95 (+0.01)
0692ff 8.90 (+0.02) 8.90 (+0.02)
2caece 8.76 (-0.04) 8.77 (-0.04)
bc7d3c 9.13 (+0.01) 9.13 (+0.01)
2153d2 9.00 (+0.02) 9.00 (+0.02)
2153d2 8.82 (-0.01) 8.82 (-0.01)
2153d2 8.94 (-0.02) 8.94 (-0.02)
a1b062 9.14 (+0.01) 9.14 (+0.01)
1d9d7c 9.03 (-0.07) 9.03 (-0.07)
3569c1 9.73 (+0.04) 9.73 (+0.04)
eaff14 9.39 (+0.07) 9.39 (+0.07)
f383b4 8.74 (-0.04) 8.74 (-0.04)
f383b4 9.08 (-0.03) 9.08 (-0.03)
f383b4 9.33 (+0.02) 9.33 (+0.02)
a4256b 9.16 (+0.01) 9.16 (+0.01)
371493 9.03 (-0.02) 9.03 (-0.02)
c5c143 9.21 (+0.03) 9.21 (+0.03)
58fa4f 8.90 (-0.03) 8.90 (-0.03)
121d53 9.13 (+0.01) 9.13 (+0.01)
121d53 9.04 (+0.01) 9.04 (+0.01)
ec3a3a 8.96 (+0.01) 8.96 (+0.01)
96e783 8.91 (-0.01) 8.91 (-0.01)
567b71 8.99 (-0.00) 8.99 (-0.00)
847fc5 9.03 (-0.02) 9.03 (-0.02)
5e08b3 9.25 (+0.02) 9.25 (+0.02)
4d291d 9.05 (-0.00) 9.05 (-0.00)
4d291d 9.08 (-0.01) 9.08 (-0.01)
bf63f1 9.19 (+0.03) 9.19 (+0.03)
0a0958 8.90 (-0.03) 8.90 (-0.03)
aabca5 9.18 (+0.03) 9.18 (+0.03)
a4be54 8.90 (-0.01) 8.90 (-0.01)
a3d7ad 8.95 (-0.01) 8.95 (-0.01)
a3d7ad 9.04 (-0.02) 9.04 (-0.02)
8ba169 9.21 (+0.02) 9.21 (+0.02)
e5cc2f 9.04 (+0.00) 9.04 (+0.00)
c6b56d 9.00 (+0.01) 9.00 (+0.01)
e067cd 8.90 (-0.00) 8.90 (-0.00)
bce423 8.93 (-0.02) 8.93 (-0.02)
bce423 9.15 (+0.05) 9.15 (+0.05)
c28bfd 8.73 (-0.05) 8.73 (-0.05)
95bf19 9.19 (-0.05) 9.19 (-0.05)
95bf19 9.69 (+0.09) 9.69 (+0.09)
080752 8.86 (-0.03) 8.86 (-0.03)
23d5e2 9.14 (-0.00) 9.14 (-0.00)
23d5e2 9.17 (+0.05) 9.17 (+0.05)
8b710b 8.76 (-0.01) 8.76 (-0.01)
8c6e60 8.89 (+0.01) 8.89 (+0.01)
10dae7 8.78 (-0.01) 8.78 (-0.01)
4c4d3d 8.86 (-0.05) 8.86 (-0.05)
9f94d0 9.33 (+0.03) 9.33 (+0.03)
9f94d0 9.06 (-0.00) 9.06 (-0.00)
9f94d0 9.06 (-0.01) 9.06 (-0.01)
c700c7 9.16 (-0.04) 9.16 (-0.04)
42c6dd 9.55 (+0.02) 9.55 (+0.02)
f6bf7b 9.33 (+0.03) 9.33 (+0.03)
1137b5 9.05 (-0.00) 9.06 (-0.00)
1468c6 9.08 (-0.00) 9.08 (-0.00)
1468c6 9.11 (+0.01) 9.11 (+0.01)
c01f92 9.05 (+0.01) 9.05 (+0.01)
7ff591 8.92 (-0.06) 8.92 (-0.06)
5d4774 9.52 (+0.02) 9.52 (+0.02)
56d8c2 9.30 (+0.01) 9.30 (+0.01)
12e6f4 9.25 (+0.03) 9.25 (+0.03)
12e6f4 8.95 (-0.03) 8.95 (-0.03)
12e6f4 9.23 (+0.02) 9.23 (+0.02)
61194a 9.05 (-0.01) 9.06 (-0.01)
70ce01 9.17 (+0.00) 9.17 (+0.00)
c04c20 9.13 (-0.01) 9.13 (-0.01)
827ee1 9.19 (-0.00) 9.19 (-0.00)
22ae67 9.21 (+0.01) 9.21 (+0.01)
0f4458 9.11 (-0.01) 9.11 (-0.01)
0f4458 9.16 (+7.78) 9.16 (+2.00)
83faef 1.04 3.06

Runs for test_runner/performance/test_perf_olap.py::test_tpch[query17]

platform: rds-postgres

revision Q17/1 total_duration
41aa62 90.14 (-0.03) 90.15 (-0.03)
7b5489 92.80 (-0.01) 92.80 (-0.01)
a23b07 93.58 (+0.03) 93.58 (+0.03)
cc2d00 90.81 (+0.04) 90.81 (+0.04)
ba9df2 87.57 (-0.06) 87.58 (-0.06)
a8f354 93.27 (+0.04) 93.27 (+0.04)
7feb0d 90.11 (+0.02) 90.11 (+0.02)
982fce 88.28 (-0.01) 88.28 (-0.01)
1f151d 88.81 (-0.03) 88.81 (-0.03)
ff1a1a 91.62 (-0.02) 91.63 (-0.02)
b1477b 93.95 (+0.06) 93.95 (+0.06)
1b947f 88.93 (-0.06) 88.93 (-0.06)
a21b55 94.25 (+0.05) 94.25 (+0.05)
4ba950 89.59 (-0.04) 89.60 (-0.04)
4e359d 93.12 (+0.01) 93.12 (+0.01)
3837fc 92.26 (+0.04) 92.26 (+0.04)
edcf4d 89.14 (-0.00) 89.14 (-0.00)
411c71 89.51 (+0.06) 89.52 (+0.06)
854348 84.56 (-0.02) 84.56 (-0.02)
7ba5c2 86.41 (+0.02) 86.41 (+0.02)
ebea29 84.33 (-0.05) 84.34 (-0.05)
22c890 88.66 (+0.06) 88.66 (+0.06)
f0b2e0 84.02 (-0.02) 84.02 (-0.02)
dec580 85.72 (+0.01) 85.72 (+0.01)
dec580 85.21 (-0.01) 85.21 (-0.01)
b1c2a6 86.08 (+0.02) 86.08 (+0.02)
931094 84.51 (-0.05) 84.52 (-0.05)
957acb 88.57 (-0.01) 88.57 (-0.01)
846532 89.29 (+0.01) 89.29 (+0.01)
d733bc 88.32 (+0.04) 88.32 (+0.04)
75ffe3 85.11 (-0.04) 85.11 (-0.04)
75ffe3 88.71 (+0.03) 88.71 (+0.03)
bf4623 86.18 (+0.07) 86.18 (+0.07)
b26c83 80.21 (-0.07) 80.21 (-0.07)
9d714a 86.48 (+0.05) 86.48 (+0.05)
6efea4 82.57 (+0.02) 82.58 (+0.02)
4071ff 81.15 (-0.01) 81.15 (-0.01)
4071ff 81.66 (-0.06) 81.66 (-0.06)
870ba4 86.68 (+0.11) 86.68 (+0.11)
f5ca89 78.05 (-0.14) 78.05 (-0.14)
8bd565 90.30 (+0.02) 90.30 (+0.02)
dd22c8 88.58 (+0.09) 88.58 (+0.09)
299db9 81.31 (-0.09) 81.31 (-0.09)
93f3f4 89.11 (+0.11) 89.11 (+0.11)
f6e2e0 80.04 (-0.02) 80.04 (-0.02)
f6e2e0 81.56 (-0.07) 81.56 (-0.07)
f6e2e0 87.97 (+0.07) 87.97 (+0.07)
f1d960 82.06 (-0.05) 82.06 (-0.05)
4a9279 86.28 (-0.00) 86.28 (-0.00)
2e4bf7 86.32 (+0.06) 86.32 (+0.06)
ce8fbb 81.54 (-0.07) 81.54 (-0.07)
ce8fbb 87.41 (+0.08) 87.41 (+0.08)
ce8fbb 80.98 (+0.00) 80.98 (+0.00)
d1a0f2 80.62 (-0.08) 80.62 (-0.08)
ccf92d 87.48 (+0.00) 87.48 (+0.00)
02b8e0 87.41 (-0.01) 87.42 (-0.01)
7b9057 88.10 (+0.12) 88.10 (+0.12)
9cada8 78.83 (-0.10) 78.83 (-0.10)
9cada8 87.28 (+0.10) 87.28 (+0.10)
9cada8 79.19 (-0.09) 79.19 (-0.09)
a60f68 87.42 (+0.09) 87.42 (+0.09)
d19c52 79.92 (-0.02) 79.92 (-0.02)
000eb1 81.29 (+0.01) 81.29 (+0.01)
000eb1 80.61 (+0.00) 80.61 (+0.00)
f51b48 80.27 (-0.08) 80.27 (-0.08)
f51b48 87.47 (-0.01) 87.47 (-0.01)
f51b48 87.96 (+0.11) 87.96 (+0.11)
9f906f 79.18 (-0.02) 79.18 (-0.02)
0692ff 80.59 (-0.08) 80.59 (-0.08)
2caece 87.73 (+0.07) 87.73 (+0.07)
bc7d3c 81.88 (+0.02) 81.88 (+0.02)
2153d2 80.39 (+0.01) 80.40 (+0.01)
2153d2 79.28 (-0.12) 79.28 (-0.12)
2153d2 89.62 (+0.12) 89.63 (+0.12)
a1b062 79.92 (-0.11) 79.92 (-0.11)
1d9d7c 89.88 (+0.09) 89.88 (+0.09)
3569c1 82.45 (-0.06) 82.45 (-0.06)
eaff14 88.04 (+0.10) 88.04 (+0.10)
f383b4 80.06 (-0.08) 80.06 (-0.08)
f383b4 87.49 (-0.00) 87.49 (-0.00)
f383b4 87.59 (+0.00) 87.59 (+0.00)
a4256b 87.37 (-0.02) 87.37 (-0.02)
371493 89.02 (+0.01) 89.02 (+0.01)
c5c143 87.77 (+0.01) 87.77 (+0.01)
58fa4f 86.87 (+0.09) 86.88 (+0.09)
121d53 79.40 (+0.01) 79.40 (+0.01)
121d53 78.81 (-0.02) 78.81 (-0.02)
ec3a3a 80.45 (+0.00) 80.45 (+0.00)
96e783 80.43 (-0.00) 80.43 (-0.00)
567b71 80.49 (+0.04) 80.49 (+0.04)
847fc5 77.69 (-0.03) 77.69 (-0.03)
5e08b3 80.02 (-0.09) 80.03 (-0.09)
4d291d 87.69 (+0.07) 87.69 (+0.07)
4d291d 81.89 (-0.05) 81.89 (-0.05)
bf63f1 86.40 (+0.07) 86.40 (+0.07)
0a0958 80.81 (-0.08) 80.81 (-0.08)
aabca5 87.49 (+0.08) 87.50 (+0.08)
a4be54 80.75 (-0.08) 80.75 (-0.08)
a3d7ad 87.73 (+0.12) 87.73 (+0.12)
a3d7ad 78.41 (-0.10) 78.41 (-0.10)
8ba169 87.54 (+0.01) 87.55 (+0.01)
e5cc2f 86.46 (+0.09) 86.46 (+0.09)
c6b56d 79.55 (-0.10) 79.55 (-0.10)
e067cd 88.24 (+0.01) 88.24 (+0.01)
bce423 87.71 (+0.11) 87.71 (+0.11)
bce423 78.72 (-0.10) 78.72 (-0.10)
c28bfd 87.83 (-0.01) 87.83 (-0.01)
95bf19 88.62 (+0.00) 88.62 (+0.00)
95bf19 88.58 (+0.01) 88.58 (+0.01)
080752 87.84 (+0.09) 87.85 (+0.09)
23d5e2 80.43 (+0.01) 80.43 (+0.01)
23d5e2 79.41 (-0.01) 79.41 (-0.01)
8b710b 80.51 (+0.00) 80.51 (+0.00)
8c6e60 80.35 (-0.07) 80.35 (-0.07)
10dae7 86.78 (+0.09) 86.78 (+0.09)
4c4d3d 79.56 (-0.13) 79.56 (-0.13)
9f94d0 90.96 (+0.08) 90.96 (+0.08)
9f94d0 84.17 (-0.09) 84.18 (-0.09)
9f94d0 92.21 (+0.04) 92.21 (+0.04)
c700c7 88.91 (+0.03) 88.91 (+0.03)
42c6dd 86.38 (+0.02) 86.38 (+0.02)
f6bf7b 84.76 (+0.00) 84.76 (+0.00)
1137b5 84.49 (-0.08) 84.49 (-0.08)
1468c6 91.83 (+0.09) 91.84 (+0.09)
1468c6 84.44 (+0.01) 84.44 (+0.01)
c01f92 83.82 (-0.09) 83.82 (-0.09)
7ff591 91.63 (+0.09) 91.63 (+0.09)
5d4774 84.30 (-0.07) 84.30 (-0.07)
56d8c2 90.86 (+0.07) 90.86 (+0.07)
12e6f4 84.90 (-0.09) 84.90 (-0.09)
12e6f4 93.50 (+0.08) 93.50 (+0.08)
12e6f4 86.44 (-0.05) 86.44 (-0.05)
61194a 91.22 (+0.02) 91.22 (+0.02)
70ce01 89.32 (-0.04) 89.32 (-0.04)
c04c20 92.78 (+0.06) 92.78 (+0.06)
827ee1 87.89 (-0.04) 87.89 (-0.04)
22ae67 91.57 (-0.02) 91.58 (-0.02)
0f4458 93.86 (+0.01) 93.86 (+0.01)
0f4458 93.31 (+64.18) 93.31 (+23.59)
83faef 1.43 3.80

Runs for test_runner/performance/test_perf_olap.py::test_tpch[query18]

platform: rds-postgres

revision Q18/1 total_duration
41aa62 252.56 (+0.00) 252.57 (+0.00)
7b5489 252.23 (-0.01) 252.23 (-0.01)
a23b07 255.18 (-0.04) 255.18 (-0.04)
cc2d00 265.72 (+0.02) 265.72 (+0.02)
ba9df2 259.76 (+0.03) 259.76 (+0.03)
a8f354 252.86 (-0.01) 252.86 (-0.01)
7feb0d 254.17 (-0.04) 254.17 (-0.04)
982fce 264.02 (+0.01) 264.03 (+0.01)
1f151d 262.60 (+0.04) 262.60 (+0.04)
ff1a1a 252.23 (-0.00) 252.23 (-0.00)
b1477b 253.21 (+0.01) 253.21 (+0.01)
1b947f 251.32 (-0.00) 251.32 (-0.00)
a21b55 251.34 (-0.05) 251.34 (-0.05)
4ba950 264.92 (+0.03) 264.93 (+0.03)
4e359d 256.84 (+0.01) 256.85 (+0.01)
3837fc 254.41 (+0.01) 254.41 (+0.01)
edcf4d 251.75 (-0.02) 251.75 (-0.02)
411c71 255.66 (+0.02) 255.66 (+0.02)
854348 249.50 (-0.01) 249.50 (-0.01)
7ba5c2 252.59 (+0.01) 252.59 (+0.01)
ebea29 250.49 (-0.00) 250.49 (-0.00)
22c890 250.68 (-0.00) 250.68 (-0.00)
f0b2e0 251.10 (-0.01) 251.10 (-0.01)
dec580 253.07 (-0.01) 253.07 (-0.01)
dec580 256.74 (+0.00) 256.74 (+0.00)
b1c2a6 255.80 (+0.02) 255.80 (+0.02)
931094 251.51 (-0.00) 251.51 (-0.00)
957acb 252.10 (-0.02) 252.10 (-0.02)
846532 256.67 (+0.01) 256.67 (+0.01)
d733bc 255.27 (+0.02) 255.27 (+0.02)
75ffe3 249.08 (-0.02) 249.08 (-0.02)
75ffe3 253.68 (+0.02) 253.68 (+0.02)
bf4623 247.63 (-0.02) 247.63 (-0.02)
b26c83 252.01 (+0.03) 252.01 (+0.03)
9d714a 245.26 (-0.03) 245.26 (-0.03)
6efea4 252.54 (-0.02) 252.54 (-0.02)
4071ff 256.52 (+0.05) 256.52 (+0.05)
4071ff 244.10 (-0.02) 244.10 (-0.02)
870ba4 248.53 (-0.02) 248.53 (-0.02)
f5ca89 254.90 (+0.02) 254.90 (+0.02)
8bd565 249.69 (-0.02) 249.69 (-0.02)
dd22c8 253.59 (+0.03) 253.59 (+0.03)
299db9 245.09 (-0.01) 245.09 (-0.01)
93f3f4 247.44 (-0.04) 247.44 (-0.04)
f6e2e0 258.21 (+0.03) 258.21 (+0.03)
f6e2e0 250.93 (+0.01) 250.93 (+0.01)
f6e2e0 249.68 (-0.01) 249.68 (-0.01)
f1d960 253.17 (+0.03) 253.17 (+0.03)
4a9279 245.89 (-0.01) 245.89 (-0.01)
2e4bf7 249.30 (+0.01) 249.30 (+0.01)
ce8fbb 247.78 (-0.01) 247.78 (-0.01)
ce8fbb 250.00 (-0.04) 250.00 (-0.04)
ce8fbb 260.86 (+0.02) 260.87 (+0.02)
d1a0f2 255.54 (+0.02) 255.55 (+0.02)
ccf92d 249.91 (-0.01) 249.91 (-0.01)
02b8e0 251.18 (+0.01) 251.18 (+0.01)
7b9057 248.85 (-0.04) 248.85 (-0.04)
9cada8 260.39 (+0.06) 260.39 (+0.06)
9cada8 245.64 (-0.05) 245.64 (-0.05)
9cada8 259.51 (+0.04) 259.51 (+0.04)
a60f68 250.01 (-0.00) 250.01 (-0.00)
d19c52 250.07 (-0.03) 250.07 (-0.03)
000eb1 258.78 (+0.02) 258.78 (+0.02)
000eb1 254.46 (+0.01) 254.47 (+0.01)
f51b48 251.55 (+0.02) 251.55 (+0.02)
f51b48 246.06 (+0.01) 246.06 (+0.01)
f51b48 244.61 (-0.04) 244.61 (-0.04)
9f906f 254.36 (+0.01) 254.36 (+0.01)
0692ff 251.71 (+0.00) 251.71 (+0.00)
2caece 250.82 (+0.00) 250.82 (+0.00)
bc7d3c 250.00 (-0.04) 250.00 (-0.04)
2153d2 260.91 (+0.03) 260.91 (+0.03)
2153d2 254.29 (+0.02) 254.30 (+0.02)
2153d2 249.90 (-0.04) 249.90 (-0.04)
a1b062 260.51 (+0.05) 260.51 (+0.05)
1d9d7c 248.67 (-0.03) 248.67 (-0.03)
3569c1 256.81 (+0.03) 256.81 (+0.03)
eaff14 249.02 (-0.02) 249.03 (-0.02)
f383b4 252.97 (+0.01) 252.97 (+0.01)
f383b4 249.39 (+0.00) 249.39 (+0.00)
f383b4 248.96 (-0.02) 248.96 (-0.02)
a4256b 254.81 (+0.02) 254.81 (+0.02)
371493 249.90 (-0.00) 249.90 (-0.00)
c5c143 250.84 (+0.02) 250.84 (+0.02)
58fa4f 245.36 (+0.00) 245.36 (+0.00)
121d53 244.97 (+0.00) 244.97 (+0.00)
121d53 244.59 (+0.00) 244.59 (+0.00)
ec3a3a 243.87 (-0.06) 243.87 (-0.06)
96e783 259.34 (+0.07) 259.34 (+0.07)
567b71 242.24 (-0.04) 242.24 (-0.04)
847fc5 251.55 (+0.01) 251.55 (+0.01)
5e08b3 249.48 (-0.01) 249.48 (-0.01)
4d291d 251.76 (+0.01) 251.76 (+0.01)
4d291d 248.68 (+0.00) 248.68 (+0.00)
bf63f1 248.40 (-0.01) 248.40 (-0.01)
0a0958 250.66 (+0.01) 250.66 (+0.01)
aabca5 248.33 (+0.01) 248.33 (+0.01)
a4be54 245.97 (-0.02) 245.97 (-0.02)
a3d7ad 251.55 (-0.03) 251.55 (-0.03)
a3d7ad 260.41 (+0.05) 260.41 (+0.05)
8ba169 247.91 (+0.00) 247.91 (+0.00)
e5cc2f 247.03 (-0.04) 247.03 (-0.04)
c6b56d 256.13 (+0.02) 256.13 (+0.02)
e067cd 252.27 (+0.01) 252.27 (+0.01)
bce423 248.76 (-0.04) 248.76 (-0.04)
bce423 258.19 (+0.04) 258.19 (+0.04)
c28bfd 247.09 (-0.01) 247.09 (-0.01)
95bf19 250.35 (+0.02) 250.35 (+0.02)
95bf19 246.60 (-0.01) 246.61 (-0.01)
080752 248.56 (-0.04) 248.56 (-0.04)
23d5e2 258.65 (+0.03) 258.65 (+0.03)
23d5e2 252.09 (+0.02) 252.09 (+0.02)
8b710b 247.73 (+0.02) 247.73 (+0.02)
8c6e60 243.98 (-0.01) 243.98 (-0.01)
10dae7 246.39 (-0.03) 246.39 (-0.03)
4c4d3d 254.18 (+0.00) 254.18 (+0.00)
9f94d0 253.99 (+0.05) 253.99 (+0.05)
9f94d0 242.84 (-0.03) 242.84 (-0.03)
9f94d0 250.28 (+0.01) 250.28 (+0.01)
c700c7 246.74 (+0.00) 246.75 (+0.00)
42c6dd 245.75 (+0.01) 245.75 (+0.01)
f6bf7b 244.24 (-0.04) 244.24 (-0.04)
1137b5 253.17 (+0.02) 253.17 (+0.02)
1468c6 247.74 (+0.01) 247.74 (+0.01)
1468c6 246.23 (+0.00) 246.23 (+0.00)
c01f92 245.59 (-0.01) 245.59 (-0.01)
7ff591 249.09 (-0.00) 249.09 (-0.00)
5d4774 249.44 (+0.01) 249.44 (+0.01)
56d8c2 248.06 (-0.03) 248.06 (-0.03)
12e6f4 256.65 (+0.04) 256.65 (+0.04)
12e6f4 246.58 (+0.01) 246.58 (+0.01)
12e6f4 244.83 (-0.02) 244.83 (-0.02)
61194a 249.41 (+0.02) 249.41 (+0.02)
70ce01 244.55 (-0.01) 244.55 (-0.01)
c04c20 247.12 (-0.00) 247.12 (-0.00)
827ee1 247.54 (+0.00) 247.54 (+0.00)
22ae67 246.51 (-0.02) 246.51 (-0.02)
0f4458 250.63 (-0.00) 250.63 (-0.00)
0f4458 250.67 (+40.88) 250.67 (+12.86)
83faef 5.99 18.08

Runs for test_runner/performance/test_perf_olap.py::test_tpch[query19]

platform: rds-postgres

revision Q19/1 total_duration
41aa62 35.89 (-0.06) 35.89 (-0.06)
7b5489 38.25 (+0.00) 38.25 (+0.00)
a23b07 38.17 (+0.08) 38.17 (+0.08)
cc2d00 35.35 (-0.03) 35.35 (-0.03)
ba9df2 36.50 (-0.04) 36.50 (-0.04)
a8f354 38.15 (+0.06) 38.16 (+0.06)
7feb0d 36.03 (+0.02) 36.03 (+0.02)
982fce 35.40 (-0.03) 35.40 (-0.03)
1f151d 36.45 (+0.01) 36.45 (+0.01)
ff1a1a 36.09 (-0.05) 36.09 (-0.05)
b1477b 38.13 (+0.08) 38.13 (+0.08)
1b947f 35.38 (+0.02) 35.38 (+0.02)
a21b55 34.75 (-0.01) 34.75 (-0.01)
4ba950 35.06 (-0.09) 35.06 (-0.09)
4e359d 38.37 (+0.00) 38.38 (+0.00)
3837fc 38.36 (+0.00) 38.36 (+0.00)
edcf4d 38.26 (+0.00) 38.26 (+0.00)
411c71 38.19 (+0.02) 38.19 (+0.02)
854348 37.28 (+0.16) 37.28 (+0.16)
7ba5c2 32.26 (-0.10) 32.26 (-0.10)
ebea29 35.74 (-0.05) 35.74 (-0.05)
22c890 37.54 (+0.06) 37.54 (+0.06)
f0b2e0 35.38 (+0.01) 35.38 (+0.01)
dec580 35.09 (-0.02) 35.09 (-0.02)
dec580 35.89 (+0.01) 35.89 (+0.01)
b1c2a6 35.46 (-0.02) 35.46 (-0.02)
931094 36.33 (-0.05) 36.33 (-0.05)
957acb 38.27 (+0.03) 38.27 (+0.03)
846532 37.26 (-0.02) 37.26 (-0.02)
d733bc 38.18 (+0.06) 38.18 (+0.06)
75ffe3 35.95 (-0.07) 35.95 (-0.07)
75ffe3 38.55 (+0.10) 38.55 (+0.10)
bf4623 35.13 (-0.00) 35.13 (-0.00)
b26c83 35.26 (-0.06) 35.26 (-0.06)
9d714a 37.64 (+0.10) 37.64 (+0.10)
6efea4 34.17 (-0.04) 34.17 (-0.04)
4071ff 35.55 (+0.06) 35.55 (+0.06)
4071ff 33.41 (-0.09) 33.41 (-0.09)
870ba4 36.91 (+0.06) 36.91 (+0.06)
f5ca89 34.92 (-0.03) 34.92 (-0.03)
8bd565 36.08 (-0.04) 36.08 (-0.04)
dd22c8 37.49 (+0.11) 37.49 (+0.11)
299db9 33.72 (-0.06) 33.72 (-0.06)
93f3f4 35.73 (+0.05) 35.73 (+0.05)
f6e2e0 34.04 (+0.01) 34.04 (+0.01)
f6e2e0 33.82 (-0.10) 33.82 (-0.10)
f6e2e0 37.59 (+0.07) 37.59 (+0.07)
f1d960 34.98 (-0.00) 34.98 (-0.00)
4a9279 35.03 (-0.07) 35.03 (-0.07)
2e4bf7 37.49 (+0.10) 37.49 (+0.10)
ce8fbb 34.22 (-0.09) 34.22 (-0.09)
ce8fbb 37.48 (+0.12) 37.49 (+0.12)
ce8fbb 33.59 (+0.01) 33.59 (+0.01)
d1a0f2 33.38 (-0.11) 33.38 (-0.11)
ccf92d 37.57 (+0.04) 37.57 (+0.04)
02b8e0 36.19 (-0.04) 36.19 (-0.04)
7b9057 37.56 (+0.07) 37.56 (+0.07)
9cada8 35.20 (-0.02) 35.20 (-0.02)
9cada8 35.96 (+0.11) 35.96 (+0.11)
9cada8 32.53 (-0.13) 32.53 (-0.13)
a60f68 37.57 (+0.09) 37.57 (+0.09)
d19c52 34.57 (+0.00) 34.57 (+0.00)
000eb1 34.41 (-0.04) 34.41 (-0.04)
000eb1 35.96 (+0.04) 35.96 (+0.04)
f51b48 34.70 (-0.08) 34.70 (-0.08)
f51b48 37.53 (+0.02) 37.53 (+0.02)
f51b48 36.72 (+0.04) 36.72 (+0.04)
9f906f 35.37 (+0.01) 35.37 (+0.01)
0692ff 34.93 (-0.07) 34.93 (-0.07)
2caece 37.51 (+0.06) 37.51 (+0.06)
bc7d3c 35.47 (+0.03) 35.47 (+0.03)
2153d2 34.30 (-0.02) 34.31 (-0.02)
2153d2 35.12 (-0.07) 35.12 (-0.07)
2153d2 37.58 (+0.09) 37.58 (+0.09)
a1b062 34.47 (-0.07) 34.47 (-0.07)
1d9d7c 37.24 (+0.06) 37.24 (+0.06)
3569c1 35.27 (-0.06) 35.27 (-0.06)
eaff14 37.55 (+0.06) 37.55 (+0.06)
f383b4 35.52 (-0.06) 35.53 (-0.06)
f383b4 37.65 (+0.00) 37.65 (+0.00)
f383b4 37.52 (-0.01) 37.52 (-0.01)
a4256b 37.71 (-0.00) 37.71 (-0.00)
371493 37.73 (+0.00) 37.73 (+0.00)
c5c143 37.60 (+0.08) 37.60 (+0.08)
58fa4f 34.85 (-0.03) 34.85 (-0.03)
121d53 35.77 (+0.05) 35.77 (+0.05)
121d53 34.23 (-0.03) 34.23 (-0.03)
ec3a3a 35.43 (+0.01) 35.43 (+0.01)
96e783 34.96 (+0.03) 34.96 (+0.03)
567b71 34.09 (+0.01) 34.09 (+0.01)
847fc5 33.65 (-0.03) 33.65 (-0.03)
5e08b3 34.86 (-0.07) 34.86 (-0.07)
4d291d 37.57 (+0.09) 37.57 (+0.08)
4d291d 34.63 (-0.06) 34.63 (-0.06)
bf63f1 36.81 (+0.07) 36.81 (+0.07)
0a0958 34.32 (-0.09) 34.32 (-0.09)
aabca5 37.70 (+0.04) 37.71 (+0.04)
a4be54 36.27 (-0.04) 36.27 (-0.04)
a3d7ad 37.70 (+0.13) 37.70 (+0.13)
a3d7ad 33.44 (-0.11) 33.44 (-0.11)
8ba169 37.51 (+0.04) 37.51 (+0.04)
e5cc2f 36.12 (+0.02) 36.12 (+0.02)
c6b56d 35.47 (-0.05) 35.47 (-0.05)
e067cd 37.53 (-0.00) 37.53 (-0.00)
bce423 37.56 (+0.12) 37.56 (+0.12)
bce423 33.64 (-0.10) 33.64 (-0.10)
c28bfd 37.53 (-0.00) 37.53 (-0.00)
95bf19 37.57 (-0.00) 37.57 (-0.00)
95bf19 37.76 (+0.01) 37.76 (+0.01)
080752 37.49 (+0.08) 37.49 (+0.08)
23d5e2 34.67 (+0.08) 34.67 (+0.08)
23d5e2 32.14 (-0.06) 32.15 (-0.06)
8b710b 34.15 (-0.01) 34.15 (-0.01)
8c6e60 34.32 (-0.02) 34.33 (-0.02)
10dae7 34.92 (+0.02) 34.92 (+0.02)
4c4d3d 34.38 (-0.07) 34.38 (-0.07)
9f94d0 37.14 (+0.09) 37.14 (+0.09)
9f94d0 34.19 (-0.09) 34.19 (-0.09)
9f94d0 37.45 (+0.03) 37.45 (+0.03)
c700c7 36.36 (+0.03) 36.36 (+0.03)
42c6dd 35.32 (+0.03) 35.32 (+0.03)
f6bf7b 34.28 (-0.00) 34.28 (-0.00)
1137b5 34.37 (-0.08) 34.37 (-0.08)
1468c6 37.43 (+0.05) 37.43 (+0.05)
1468c6 35.62 (-0.01) 35.62 (-0.01)
c01f92 35.82 (-0.05) 35.82 (-0.05)
7ff591 37.59 (+0.08) 37.59 (+0.08)
5d4774 34.73 (-0.06) 34.73 (-0.06)
56d8c2 36.76 (+0.05) 36.76 (+0.05)
12e6f4 35.03 (-0.01) 35.03 (-0.01)
12e6f4 35.34 (-0.01) 35.35 (-0.01)
12e6f4 35.80 (-0.04) 35.81 (-0.04)
61194a 37.47 (+0.05) 37.47 (+0.05)
70ce01 35.52 (-0.00) 35.52 (-0.00)
c04c20 35.53 (-0.01) 35.53 (-0.01)
827ee1 35.73 (-0.05) 35.73 (-0.05)
22ae67 37.58 (+0.00) 37.59 (+0.00)
0f4458 37.48 (+0.00) 37.48 (+0.00)
0f4458 37.46 (+145.44) 37.47 (+45.94)
83faef 0.26 0.80

Runs for test_runner/performance/test_perf_olap.py::test_tpch[query20]

platform: rds-postgres

revision Q20/1 total_duration
41aa62 851.71 (-0.01) 851.71 (-0.01)
7b5489 857.85 (-0.01) 857.85 (-0.01)
a23b07 864.12 (+0.07) 864.12 (+0.07)
cc2d00 808.66 (+0.01) 808.66 (+0.01)
ba9df2 802.10 (-0.08) 802.10 (-0.08)
a8f354 870.99 (+0.06) 870.99 (+0.06)
7feb0d 820.53 (-0.01) 820.53 (-0.01)
982fce 825.19 (+0.01) 825.19 (+0.01)
1f151d 818.42 (-0.03) 818.42 (-0.03)
ff1a1a 844.53 (-0.04) 844.53 (-0.04)
b1477b 884.30 (+0.03) 884.31 (+0.03)
1b947f 856.14 (+0.03) 856.15 (+0.03)
a21b55 827.22 (+0.02) 827.22 (+0.02)
4ba950 814.35 (-0.06) 814.36 (-0.06)
4e359d 865.77 (+0.05) 865.78 (+0.05)
3837fc 828.08 (+0.03) 828.09 (+0.03)
edcf4d 806.62 (-0.01) 806.62 (-0.01)
411c71 813.14 (+0.08) 813.14 (+0.08)
854348 751.02 (-0.04) 751.02 (-0.04)
7ba5c2 782.99 (+0.05) 782.99 (+0.05)
ebea29 742.82 (-0.10) 742.82 (-0.10)
22c890 826.04 (+0.11) 826.04 (+0.11)
f0b2e0 741.04 (+0.00) 741.04 (+0.00)
dec580 737.87 (-0.03) 737.87 (-0.03)
dec580 757.91 (+0.02) 757.91 (+0.02)
b1c2a6 741.73 (+0.03) 741.73 (+0.03)
931094 718.84 (-0.05) 718.84 (-0.05)
957acb 759.57 (+0.00) 759.57 (+0.00)
846532 757.96 (-0.01) 757.96 (-0.01)
d733bc 762.68 (+0.05) 762.68 (+0.05)
75ffe3 729.83 (-0.06) 729.83 (-0.06)
75ffe3 772.47 (+0.07) 772.47 (+0.07)
bf4623 720.50 (+0.03) 720.51 (+0.03)
b26c83 697.12 (-0.08) 697.12 (-0.08)
9d714a 760.25 (+0.08) 760.25 (+0.08)
6efea4 701.15 (+0.00) 701.15 (+0.00)
4071ff 698.21 (-0.04) 698.21 (-0.04)
4071ff 723.65 (+0.02) 723.65 (+0.02)
870ba4 708.35 (+0.05) 708.35 (+0.05)
f5ca89 675.54 (-0.08) 675.54 (-0.08)
8bd565 738.19 (+0.03) 738.19 (+0.03)
dd22c8 719.49 (+0.04) 719.49 (+0.04)
299db9 693.77 (-0.07) 693.77 (-0.07)
93f3f4 744.13 (+0.06) 744.13 (+0.06)
f6e2e0 699.13 (-0.04) 699.14 (-0.04)
f6e2e0 730.26 (-0.04) 730.26 (-0.04)
f6e2e0 758.17 (+0.07) 758.17 (+0.07)
f1d960 709.30 (-0.03) 709.30 (-0.03)
4a9279 727.73 (-0.00) 727.73 (-0.00)
2e4bf7 728.42 (+0.06) 728.42 (+0.06)
ce8fbb 688.60 (-0.06) 688.60 (-0.06)
ce8fbb 735.48 (+0.06) 735.48 (+0.06)
ce8fbb 695.87 (-0.01) 695.87 (-0.01)
d1a0f2 702.33 (-0.03) 702.33 (-0.03)
ccf92d 726.20 (-0.00) 726.20 (-0.00)
02b8e0 729.44 (-0.02) 729.45 (-0.02)
7b9057 743.31 (+0.06) 743.31 (+0.06)
9cada8 701.66 (-0.05) 701.66 (-0.05)
9cada8 735.12 (+0.07) 735.12 (+0.07)
9cada8 688.46 (-0.07) 688.46 (-0.07)
a60f68 743.84 (+0.08) 743.84 (+0.08)
d19c52 690.20 (-0.01) 690.20 (-0.01)
000eb1 695.99 (+0.00) 695.99 (+0.00)
000eb1 693.05 (+0.00) 693.05 (+0.00)
f51b48 690.08 (-0.07) 690.08 (-0.07)
f51b48 740.38 (-0.00) 740.38 (-0.00)
f51b48 740.50 (+0.06) 740.50 (+0.06)
9f906f 697.42 (-0.00) 697.42 (-0.00)
0692ff 699.21 (-0.07) 699.21 (-0.07)
2caece 753.28 (+0.07) 753.28 (+0.07)
bc7d3c 703.19 (-0.00) 703.19 (-0.00)
2153d2 704.93 (+0.01) 704.93 (+0.01)
2153d2 700.52 (-0.07) 700.52 (-0.07)
2153d2 750.00 (+0.08) 750.00 (+0.08)
a1b062 693.94 (-0.08) 693.94 (-0.08)
1d9d7c 753.11 (+0.07) 753.11 (+0.07)
3569c1 703.76 (-0.05) 703.76 (-0.05)
eaff14 739.98 (+0.06) 739.98 (+0.06)
f383b4 699.69 (-0.05) 699.69 (-0.05)
f383b4 738.67 (+0.01) 738.67 (+0.01)
f383b4 733.50 (-0.02) 733.50 (-0.02)
a4256b 747.21 (+0.01) 747.21 (+0.01)
371493 740.49 (+0.01) 740.49 (+0.01)
c5c143 730.68 (+0.01) 730.68 (+0.01)
58fa4f 721.70 (+0.00) 721.70 (+0.00)
121d53 719.07 (+0.02) 719.07 (+0.02)
121d53 702.92 (-0.01) 702.92 (-0.01)
ec3a3a 710.98 (+0.03) 710.98 (+0.03)
96e783 688.95 (-0.03) 688.95 (-0.03)
567b71 709.74 (+0.02) 709.75 (+0.02)
847fc5 695.25 (-0.03) 695.25 (-0.03)
5e08b3 716.11 (-0.04) 716.11 (-0.04)
4d291d 746.18 (+0.05) 746.18 (+0.05)
4d291d 708.05 (-0.03) 708.05 (-0.03)
bf63f1 729.98 (+0.04) 729.98 (+0.04)
0a0958 701.95 (-0.04) 701.95 (-0.04)
aabca5 732.41 (+0.04) 732.41 (+0.04)
a4be54 707.40 (-0.04) 707.40 (-0.04)
a3d7ad 733.94 (+0.06) 733.94 (+0.06)
a3d7ad 694.10 (-0.04) 694.10 (-0.04)
8ba169 726.56 (+0.02) 726.56 (+0.02)
e5cc2f 711.05 (+0.02) 711.05 (+0.02)
c6b56d 697.29 (-0.08) 697.30 (-0.08)
e067cd 760.98 (+0.03) 760.98 (+0.03)
bce423 741.62 (+0.05) 741.62 (+0.05)
bce423 706.58 (-0.05) 706.58 (-0.05)
c28bfd 744.77 (+0.01) 744.77 (+0.01)
95bf19 739.18 (-0.02) 739.18 (-0.02)
95bf19 757.01 (+0.03) 757.01 (+0.03)
080752 738.16 (+0.04) 738.17 (+0.04)
23d5e2 711.03 (+0.02) 711.03 (+0.02)
23d5e2 698.81 (+0.01) 698.81 (+0.01)
8b710b 688.55 (-0.03) 688.55 (-0.03)
8c6e60 711.28 (+0.03) 711.28 (+0.03)
10dae7 690.25 (+0.00) 690.25 (+0.00)
4c4d3d 687.75 (-0.15) 687.76 (-0.15)
9f94d0 807.78 (+0.02) 807.78 (+0.02)
9f94d0 789.79 (-0.04) 789.79 (-0.04)
9f94d0 819.05 (+0.00) 819.05 (+0.00)
c700c7 816.18 (-0.02) 816.18 (-0.02)
42c6dd 832.29 (+0.00) 832.29 (+0.00)
f6bf7b 828.76 (+0.08) 828.76 (+0.08)
1137b5 763.89 (-0.05) 763.89 (-0.05)
1468c6 801.35 (-0.01) 801.35 (-0.01)
1468c6 806.59 (+0.03) 806.59 (+0.03)
c01f92 783.94 (-0.05) 783.94 (-0.05)
7ff591 824.01 (+0.07) 824.01 (+0.07)
5d4774 772.44 (-0.05) 772.44 (-0.05)
56d8c2 815.90 (+0.08) 815.90 (+0.08)
12e6f4 758.46 (-0.06) 758.46 (-0.06)
12e6f4 805.97 (+0.04) 805.97 (+0.04)
12e6f4 775.25 (-0.04) 775.25 (-0.04)
61194a 807.11 (+0.01) 807.11 (+0.01)
70ce01 802.73 (-0.01) 802.73 (-0.01)
c04c20 812.90 (-0.01) 812.90 (-0.01)
827ee1 822.20 (+0.00) 822.20 (+0.00)
22ae67 820.14 (-0.01) 820.14 (-0.01)
0f4458 824.72 (-0.01) 824.72 (-0.01)
0f4458 833.28 (+2454.11) 833.28 (+869.03)
83faef 0.34 0.96

Runs for test_runner/performance/test_perf_olap.py::test_tpch[query21]

platform: rds-postgres

revision Q21/1 total_duration
41aa62 285.61 (+0.00) 285.61 (+0.00)
7b5489 284.45 (-0.01) 284.45 (-0.01)
a23b07 287.07 (+0.00) 287.07 (+0.00)
cc2d00 286.77 (+0.01) 286.77 (+0.01)
ba9df2 283.06 (-0.01) 283.06 (-0.01)
a8f354 287.27 (+0.01) 287.27 (+0.01)
7feb0d 283.52 (-0.02) 283.52 (-0.02)
982fce 289.20 (+0.00) 289.20 (+0.00)
1f151d 288.30 (+0.02) 288.30 (+0.02)
ff1a1a 282.34 (-0.03) 282.35 (-0.03)
b1477b 289.88 (+0.00) 289.89 (+0.00)
1b947f 289.80 (+0.02) 289.80 (+0.02)
a21b55 283.92 (-0.01) 283.92 (-0.01)
4ba950 285.98 (+0.00) 285.98 (+0.00)
4e359d 285.46 (-0.00) 285.46 (-0.00)
3837fc 286.83 (+0.02) 286.83 (+0.02)
edcf4d 279.87 (+0.03) 279.87 (+0.03)
411c71 270.41 (+0.01) 270.41 (+0.01)
854348 268.40 (-0.02) 268.40 (-0.02)
7ba5c2 274.30 (-0.02) 274.30 (-0.02)
ebea29 280.32 (+0.03) 280.32 (+0.03)
22c890 272.85 (+0.01) 272.85 (+0.01)
f0b2e0 270.92 (-0.01) 270.92 (-0.01)
dec580 273.93 (+0.02) 273.93 (+0.02)
dec580 268.76 (-0.04) 268.76 (-0.04)
b1c2a6 279.53 (+0.06) 279.53 (+0.06)
931094 263.80 (-0.04) 263.80 (-0.04)
957acb 275.45 (+0.04) 275.45 (+0.04)
846532 265.07 (-0.01) 265.07 (-0.01)
d733bc 267.76 (+0.02) 267.76 (+0.02)
75ffe3 263.46 (-0.01) 263.46 (-0.01)
75ffe3 266.03 (-0.03) 266.03 (-0.03)
bf4623 275.55 (+0.05) 275.55 (+0.05)
b26c83 261.54 (-0.02) 261.54 (-0.02)
9d714a 265.84 (-0.00) 265.84 (-0.00)
6efea4 266.16 (+0.02) 266.16 (+0.02)
4071ff 261.38 (-0.04) 261.39 (-0.04)
4071ff 271.40 (+0.05) 271.40 (+0.05)
870ba4 258.80 (-0.02) 258.80 (-0.02)
f5ca89 263.96 (-0.05) 263.96 (-0.05)
8bd565 278.08 (+0.07) 278.08 (+0.07)
dd22c8 260.93 (+0.01) 260.93 (+0.01)
299db9 257.72 (-0.03) 257.72 (-0.03)
93f3f4 266.03 (+0.01) 266.03 (+0.01)
f6e2e0 262.16 (-0.03) 262.16 (-0.03)
f6e2e0 271.25 (+0.00) 271.26 (+0.00)
f6e2e0 270.76 (+0.01) 270.76 (+0.01)
f1d960 268.55 (-0.00) 268.55 (-0.00)
4a9279 269.74 (+0.05) 269.74 (+0.05)
2e4bf7 258.04 (-0.03) 258.04 (-0.03)
ce8fbb 266.97 (+0.02) 266.97 (+0.02)
ce8fbb 261.93 (-0.01) 261.93 (-0.01)
ce8fbb 264.00 (+0.01) 264.00 (+0.01)
d1a0f2 261.03 (-0.00) 261.03 (-0.00)
ccf92d 261.16 (-0.04) 261.16 (-0.04)
02b8e0 272.52 (+0.03) 272.52 (+0.03)
7b9057 265.81 (-0.01) 265.81 (-0.01)
9cada8 269.80 (+0.01) 269.80 (+0.01)
9cada8 268.45 (+0.02) 268.45 (+0.02)
9cada8 262.03 (-0.00) 262.03 (-0.00)
a60f68 262.28 (-0.00) 262.28 (-0.00)
d19c52 263.05 (+0.00) 263.05 (+0.00)
000eb1 262.48 (-0.01) 262.48 (-0.01)
000eb1 266.39 (+0.02) 266.40 (+0.02)
f51b48 261.12 (+0.00) 261.13 (+0.00)
f51b48 261.02 (-0.03) 261.02 (-0.03)
f51b48 268.31 (+0.03) 268.31 (+0.03)
9f906f 261.76 (-0.00) 261.76 (-0.00)
0692ff 262.68 (+0.00) 262.68 (+0.00)
2caece 261.77 (-0.00) 261.77 (-0.00)
bc7d3c 262.85 (-0.00) 262.85 (-0.00)
2153d2 263.63 (+0.00) 263.63 (+0.00)
2153d2 263.61 (-0.00) 263.61 (-0.00)
2153d2 264.91 (-0.01) 264.91 (-0.01)
a1b062 266.99 (+0.01) 266.99 (+0.01)
1d9d7c 264.09 (-0.01) 264.09 (-0.01)
3569c1 265.91 (+0.01) 265.91 (+0.01)
eaff14 264.30 (-0.01) 264.30 (-0.01)
f383b4 266.11 (-0.02) 266.11 (-0.02)
f383b4 271.77 (+0.05) 271.77 (+0.05)
f383b4 258.03 (-0.02) 258.03 (-0.02)
a4256b 262.53 (-0.00) 262.53 (-0.00)
371493 263.84 (+0.00) 263.84 (+0.00)
c5c143 263.12 (-0.02) 263.12 (-0.02)
58fa4f 267.62 (+0.01) 267.62 (+0.01)
121d53 265.95 (-0.01) 265.95 (-0.01)
121d53 268.31 (+0.01) 268.31 (+0.01)
ec3a3a 265.57 (+0.01) 265.57 (+0.01)
96e783 262.93 (-0.02) 262.93 (-0.02)
567b71 267.52 (+0.02) 267.52 (+0.02)
847fc5 261.67 (-0.01) 261.67 (-0.01)
5e08b3 262.99 (-0.00) 262.99 (-0.00)
4d291d 264.21 (+0.01) 264.21 (+0.01)
4d291d 260.83 (-0.00) 260.83 (-0.00)
bf63f1 261.16 (+0.01) 261.16 (+0.01)
0a0958 259.35 (-0.01) 259.35 (-0.01)
aabca5 261.57 (+0.01) 261.57 (+0.01)
a4be54 258.76 (-0.01) 258.76 (-0.01)
a3d7ad 262.65 (-0.01) 262.65 (-0.01)
a3d7ad 264.18 (-0.00) 264.18 (-0.00)
8ba169 264.34 (+0.01) 264.34 (+0.01)
e5cc2f 260.60 (-0.01) 260.60 (-0.01)
c6b56d 262.01 (-0.04) 262.01 (-0.04)
e067cd 272.04 (+0.04) 272.04 (+0.04)
bce423 261.71 (-0.01) 261.71 (-0.01)
bce423 263.70 (+0.02) 263.70 (+0.02)
c28bfd 259.39 (-0.02) 259.39 (-0.02)
95bf19 263.91 (-0.03) 263.91 (-0.03)
95bf19 271.39 (+0.02) 271.39 (+0.02)
080752 266.82 (-0.01) 266.82 (-0.01)
23d5e2 269.95 (+0.02) 269.95 (+0.02)
23d5e2 263.71 (+0.01) 263.71 (+0.01)
8b710b 260.77 (-0.01) 260.77 (-0.01)
8c6e60 263.18 (+0.02) 263.18 (+0.02)
10dae7 258.68 (-0.02) 258.68 (-0.02)
4c4d3d 262.67 (-0.05) 262.67 (-0.05)
9f94d0 275.72 (-0.01) 275.72 (-0.01)
9f94d0 278.14 (+0.00) 278.14 (+0.00)
9f94d0 277.77 (-0.01) 277.77 (-0.01)
c700c7 279.40 (-0.04) 279.40 (-0.04)
42c6dd 290.39 (+0.06) 290.39 (+0.06)
f6bf7b 274.57 (-0.01) 274.57 (-0.01)
1137b5 277.61 (-0.00) 277.61 (-0.00)
1468c6 278.89 (+0.02) 278.89 (+0.02)
1468c6 273.36 (-0.02) 273.36 (-0.02)
c01f92 277.65 (-0.00) 277.65 (-0.00)
7ff591 277.71 (-0.01) 277.71 (-0.01)
5d4774 281.37 (+0.02) 281.37 (+0.02)
56d8c2 276.79 (-0.00) 276.79 (-0.00)
12e6f4 277.12 (-0.04) 277.12 (-0.04)
12e6f4 288.33 (+0.04) 288.33 (+0.04)
12e6f4 278.09 (+0.01) 278.09 (+0.01)
61194a 274.16 (-0.02) 274.16 (-0.02)
70ce01 280.80 (+0.02) 280.80 (+0.02)
c04c20 276.52 (-0.00) 276.52 (-0.00)
827ee1 277.77 (+0.01) 277.77 (+0.01)
22ae67 276.26 (-0.01) 276.26 (-0.01)
0f4458 277.87 (-0.02) 277.87 (-0.02)
0f4458 284.48 (+220.42) 284.48 (+73.37)
83faef 1.28 3.82

Runs for test_runner/performance/test_perf_olap.py::test_tpch[query22]

platform: rds-postgres

revision Q22/1 total_duration
41aa62 3.62 (+0.06) 3.62 (+0.06)
7b5489 3.41 (-0.01) 3.41 (-0.01)
a23b07 3.45 (-0.12) 3.45 (-0.12)
cc2d00 3.91 (+0.14) 3.92 (+0.14)
ba9df2 3.43 (-0.02) 3.44 (-0.02)
a8f354 3.52 (-0.01) 3.52 (-0.01)
7feb0d 3.56 (-0.04) 3.56 (-0.04)
982fce 3.72 (+0.07) 3.72 (+0.07)
1f151d 3.47 (-0.05) 3.47 (-0.05)
ff1a1a 3.65 (-0.00) 3.65 (-0.00)
b1477b 3.66 (+0.02) 3.66 (+0.02)
1b947f 3.57 (+0.02) 3.57 (+0.02)
a21b55 3.49 (-0.03) 3.49 (-0.03)
4ba950 3.58 (-0.01) 3.59 (-0.00)
4e359d 3.60 (+0.10) 3.61 (+0.11)
3837fc 3.26 (+0.01) 3.26 (+0.00)
edcf4d 3.24 (+0.03) 3.24 (+0.03)
411c71 3.15 (-0.04) 3.15 (-0.04)
854348 3.28 (-0.02) 3.28 (-0.02)
7ba5c2 3.36 (+0.04) 3.36 (+0.04)
ebea29 3.22 (+0.01) 3.22 (+0.01)
22c890 3.19 (-0.06) 3.19 (-0.06)
f0b2e0 3.40 (+0.08) 3.40 (+0.08)
dec580 3.16 (+0.00) 3.16 (+0.00)
dec580 3.16 (-0.14) 3.16 (-0.14)
b1c2a6 3.68 (+0.12) 3.68 (+0.12)
931094 3.27 (-0.05) 3.27 (-0.05)
957acb 3.44 (+0.03) 3.44 (+0.03)
846532 3.35 (+0.04) 3.36 (+0.04)
d733bc 3.23 (+0.05) 3.23 (+0.05)
75ffe3 3.08 (-0.05) 3.08 (-0.05)
75ffe3 3.23 (-0.04) 3.23 (-0.04)
bf4623 3.37 (+0.05) 3.37 (+0.04)
b26c83 3.22 (-0.00) 3.23 (-0.00)
9d714a 3.23 (-0.06) 3.23 (-0.06)
6efea4 3.42 (+0.12) 3.42 (+0.12)
4071ff 3.04 (-0.02) 3.04 (-0.02)
4071ff 3.09 (-0.02) 3.09 (-0.02)
870ba4 3.17 (+0.02) 3.17 (+0.02)
f5ca89 3.12 (-0.05) 3.12 (-0.05)
8bd565 3.29 (+0.06) 3.29 (+0.06)
dd22c8 3.11 (-0.04) 3.11 (-0.04)
299db9 3.23 (+0.03) 3.23 (+0.03)
93f3f4 3.12 (-0.05) 3.12 (-0.05)
f6e2e0 3.27 (+0.05) 3.27 (+0.05)
f6e2e0 3.10 (-0.03) 3.11 (-0.03)
f6e2e0 3.20 (+0.03) 3.20 (+0.03)
f1d960 3.11 (-0.08) 3.11 (-0.08)
4a9279 3.38 (+0.13) 3.38 (+0.13)
2e4bf7 2.98 (-0.04) 2.98 (-0.04)
ce8fbb 3.09 (-0.06) 3.09 (-0.06)
ce8fbb 3.29 (+0.05) 3.29 (+0.05)
ce8fbb 3.12 (-0.01) 3.12 (-0.02)
d1a0f2 3.17 (-0.01) 3.17 (-0.01)
ccf92d 3.21 (-0.05) 3.21 (-0.05)
02b8e0 3.36 (+0.07) 3.37 (+0.07)
7b9057 3.14 (-0.06) 3.14 (-0.06)
9cada8 3.35 (+0.09) 3.35 (+0.09)
9cada8 3.09 (-0.07) 3.09 (-0.07)
9cada8 3.31 (+0.02) 3.31 (+0.02)
a60f68 3.24 (+0.02) 3.24 (+0.02)
d19c52 3.16 (-0.00) 3.16 (-0.00)
000eb1 3.16 (-0.03) 3.16 (-0.03)
000eb1 3.25 (+0.03) 3.25 (+0.03)
f51b48 3.15 (+0.02) 3.15 (+0.02)
f51b48 3.10 (-0.08) 3.10 (-0.08)
f51b48 3.37 (+0.07) 3.38 (+0.07)
9f906f 3.16 (-0.01) 3.16 (-0.01)
0692ff 3.20 (+0.03) 3.20 (+0.03)
2caece 3.10 (+0.02) 3.10 (+0.02)
bc7d3c 3.03 (-0.07) 3.03 (-0.07)
2153d2 3.27 (+0.06) 3.27 (+0.06)
2153d2 3.09 (-0.03) 3.09 (-0.03)
2153d2 3.18 (+0.01) 3.19 (+0.01)
a1b062 3.16 (+0.01) 3.16 (+0.01)
1d9d7c 3.12 (-0.12) 3.12 (-0.12)
3569c1 3.55 (+0.15) 3.55 (+0.15)
eaff14 3.08 (-0.00) 3.08 (-0.00)
f383b4 3.09 (+0.01) 3.09 (+0.01)
f383b4 3.06 (-0.05) 3.06 (-0.05)
f383b4 3.22 (+0.00) 3.22 (+0.00)
a4256b 3.21 (-0.03) 3.22 (-0.03)
371493 3.32 (+0.04) 3.32 (+0.04)
c5c143 3.18 (+0.03) 3.18 (+0.03)
58fa4f 3.10 (-0.01) 3.10 (-0.01)
121d53 3.15 (-0.01) 3.15 (-0.01)
121d53 3.17 (+0.02) 3.17 (+0.02)
ec3a3a 3.11 (-0.00) 3.11 (-0.00)
96e783 3.12 (-0.05) 3.12 (-0.05)
567b71 3.29 (+0.06) 3.29 (+0.05)
847fc5 3.12 (-0.02) 3.12 (-0.02)
5e08b3 3.19 (+0.00) 3.19 (+0.00)
4d291d 3.19 (+0.02) 3.19 (+0.02)
4d291d 3.13 (-0.14) 3.13 (-0.14)
bf63f1 3.64 (+0.14) 3.64 (+0.14)
0a0958 3.19 (-0.01) 3.19 (-0.01)
aabca5 3.22 (+0.01) 3.22 (+0.01)
a4be54 3.20 (+0.01) 3.20 (+0.01)
a3d7ad 3.18 (+0.04) 3.18 (+0.04)
a3d7ad 3.07 (-0.03) 3.07 (-0.03)
8ba169 3.15 (+0.01) 3.16 (+0.02)
e5cc2f 3.11 (-0.01) 3.11 (-0.02)
c6b56d 3.16 (-0.05) 3.16 (-0.05)
e067cd 3.31 (+0.05) 3.31 (+0.05)
bce423 3.16 (+0.03) 3.16 (+0.03)
bce423 3.07 (-0.07) 3.07 (-0.07)
c28bfd 3.29 (+0.08) 3.29 (+0.08)
95bf19 3.05 (-0.04) 3.05 (-0.04)
95bf19 3.16 (+0.03) 3.17 (+0.03)
080752 3.07 (-0.06) 3.07 (-0.06)
23d5e2 3.27 (-0.08) 3.27 (-0.08)
23d5e2 3.54 (+0.19) 3.54 (+0.19)
8b710b 2.97 (-0.02) 2.97 (-0.02)
8c6e60 3.04 (-0.03) 3.04 (-0.03)
10dae7 3.15 (+0.02) 3.15 (+0.02)
4c4d3d 3.08 (-0.13) 3.08 (-0.13)
9f94d0 3.56 (+0.03) 3.56 (+0.03)
9f94d0 3.46 (+0.05) 3.46 (+0.05)
9f94d0 3.31 (-0.07) 3.31 (-0.07)
c700c7 3.56 (-0.01) 3.56 (-0.01)
42c6dd 3.59 (+0.07) 3.59 (+0.07)
f6bf7b 3.35 (-0.02) 3.35 (-0.02)
1137b5 3.42 (-0.04) 3.42 (-0.04)
1468c6 3.55 (+0.07) 3.55 (+0.07)
1468c6 3.32 (-0.05) 3.32 (-0.05)
c01f92 3.50 (+0.04) 3.50 (+0.04)
7ff591 3.37 (-0.06) 3.37 (-0.06)
5d4774 3.58 (+0.06) 3.59 (+0.07)
56d8c2 3.36 (-0.02) 3.36 (-0.02)
12e6f4 3.42 (-0.06) 3.42 (-0.06)
12e6f4 3.63 (+0.08) 3.64 (+0.08)
12e6f4 3.35 (+0.01) 3.35 (+0.01)
61194a 3.33 (-0.03) 3.33 (-0.03)
70ce01 3.42 (-0.00) 3.42 (-0.00)
c04c20 3.44 (-0.03) 3.44 (-0.03)
827ee1 3.56 (+0.02) 3.56 (+0.02)
22ae67 3.48 (+0.00) 3.48 (+0.00)
0f4458 3.48 (-0.00) 3.48 (-0.00)
0f4458 3.48 (+8.11) 3.48 (+2.05)
83faef 0.38 1.14

Runs for test_runner/performance/test_perf_olap.py::test_user_examples

platform: rds-postgres

revision Q1/1 Q1/2 Q1/3 total_duration
e43cde 30.18 (+0.00) 29.23 (-0.02) 14.60 (+0.03) 74.01 (-0.00)
6b1c4c 30.13 (-0.00) 29.90 (+0.02) 14.23 (-0.02) 74.26 (+0.00)
5d13a2 30.18 (+0.03) 29.39 (-0.01) 14.55 (+0.10) 74.13 (+0.02)
f7249b 29.34 (-0.03) 29.80 (-0.03) 13.27 (-0.11) 72.41 (-0.05)
306c4f 30.15 (-0.05) 30.81 (+0.02) 14.91 (-0.02) 75.87 (-0.02)
bd5934 31.69 (+0.04) 30.14 (+0.01) 15.23 (+0.04) 77.07 (+0.03)
b1a112 30.49 (+0.01) 29.73 (+0.01) 14.59 (+0.03) 74.81 (+0.01)
99c159 30.32 (+0.03) 29.33 (-0.02) 14.14 (-0.11) 73.79 (-0.02)
ea5a97 29.56 (-0.02) 29.87 (+0.00) 15.85 (+0.06) 75.27 (+0.00)
89275f 30.28 (-0.00) 29.85 (+0.01) 15.01 (+0.12) 75.17 (+0.03)
6d33d8 30.37 (-0.02) 29.42 (-0.02) 13.41 (-0.12) 73.22 (-0.04)
a7f4ee 31.11 (+0.04) 30.05 (+0.02) 15.31 (+0.11) 76.47 (+0.04)
6f28da 29.92 (-0.00) 29.53 (-0.01) 13.82 (-0.28) 73.27 (-0.07)
41aa62 30.01 (-0.00) 29.79 (-0.02) 19.33 (+0.69) 79.13 (+0.10)
7b5489 30.10 (+0.02) 30.33 (+0.01) 11.41 (-0.07) 71.85 (+0.00)
a23b07 29.50 (-0.00) 30.03 (+0.01) 12.28 (-0.31) 71.81 (-0.07)
cc2d00 29.50 (+0.00) 29.69 (+0.01) 17.72 (+0.11) 76.91 (+0.03)
ba9df2 29.43 (-0.00) 29.40 (+0.00) 15.90 (+0.24) 74.74 (+0.04)
a8f354 29.54 (-0.01) 29.31 (-0.00) 12.84 (-0.33) 71.69 (-0.08)
7feb0d 29.70 (+0.01) 29.41 (-0.00) 19.07 (+0.09) 78.19 (+0.02)
982fce 29.48 (-0.00) 29.47 (+0.00) 17.52 (-0.06) 76.48 (-0.01)
1f151d 29.59 (+0.00) 29.45 (+0.00) 18.56 (+0.64) 77.60 (+0.11)
ff1a1a 29.51 (-0.00) 29.37 (-0.03) 11.28 (+0.00) 70.16 (-0.01)
b1477b 29.63 (-0.00) 30.31 (+0.02) 11.28 (+0.02) 71.22 (+0.01)
1b947f 29.75 (-0.01) 29.83 (+0.00) 11.04 (-0.14) 70.62 (-0.03)
a21b55 30.08 (+0.02) 29.73 (+0.01) 12.85 (-0.13) 72.66 (-0.01)
4ba950 29.49 (-0.00) 29.35 (-0.00) 14.85 (+0.07) 73.69 (+0.01)
4e359d 29.54 (-0.00) 29.48 (+0.00) 13.89 (+0.03) 72.92 (+0.01)
3837fc 29.60 (+0.00) 29.44 (-0.00) 13.43 (-0.01) 72.47 (-0.00)
edcf4d 29.59 (-0.00) 29.54 (+0.00) 13.60 (+0.03) 72.73 (+0.01)
411c71 29.59 (-0.00) 29.42 (-0.01) 13.14 (-0.27) 72.16 (-0.07)
854348 29.65 (+0.00) 29.59 (-0.01) 18.05 (+0.39) 77.29 (+0.07)
7ba5c2 29.59 (-0.00) 29.99 (+0.02) 12.95 (-0.13) 72.54 (-0.02)
ebea29 29.61 (+0.00) 29.47 (+0.00) 14.83 (+0.29) 73.91 (+0.05)
22c890 29.49 (-0.02) 29.43 (-0.01) 11.49 (-0.14) 70.41 (-0.04)
f0b2e0 30.09 (+0.02) 29.59 (-0.00) 13.39 (+0.16) 73.07 (+0.03)
dec580 29.37 (-0.01) 29.69 (+0.01) 11.56 (-0.34) 70.62 (-0.08)
dec580 29.59 (+0.00) 29.46 (+0.00) 17.49 (+0.15) 76.55 (+0.03)
b1c2a6 29.47 (+0.00) 29.36 (-0.02) 15.18 (-0.11) 74.01 (-0.03)
931094 29.41 (-0.03) 29.98 (-0.01) 17.15 (+0.40) 76.55 (+0.05)
957acb 30.18 (-0.00) 30.32 (+0.03) 12.25 (+0.01) 72.75 (+0.01)
846532 30.28 (+0.02) 29.41 (-0.00) 12.17 (-0.06) 71.87 (-0.00)
d733bc 29.56 (+0.00) 29.45 (+0.01) 12.94 (-0.11) 71.95 (-0.02)
75ffe3 29.50 (-0.00) 29.28 (-0.01) 14.53 (+0.14) 73.31 (+0.02)
75ffe3 29.63 (+0.02) 29.71 (+1.84) 12.69 (+0.22) 72.04 (+0.44)
bf4623 29.03 (-0.02) 10.45 (-0.65) 10.42 (-0.25) 49.90 (-0.32)
b26c83 29.54 (+0.00) 29.99 (-0.01) 13.93 (+0.14) 73.47 (+0.02)
9d714a 29.43 (-0.00) 30.26 (-0.01) 12.20 (+0.17) 71.89 (+0.02)
6efea4 29.45 (+0.01) 30.49 (+0.68) 10.38 (-0.00) 70.33 (+0.22)
4071ff 29.16 (-0.01) 18.17 (-0.39) 10.42 (-0.02) 57.76 (-0.17)
870ba4 29.52 (-0.02) 29.64 (+0.00) 10.61 (-0.30) 69.78 (-0.07)
f5ca89 30.27 (+0.01) 29.57 (-0.01) 15.18 (+0.43) 75.02 (+0.07)
8bd565 29.84 (+0.01) 29.91 (+0.01) 10.60 (-0.11) 70.35 (-0.01)
dd22c8 29.45 (-0.00) 29.58 (+0.00) 11.93 (-0.03) 70.96 (-0.00)
299db9 29.46 (-0.02) 29.51 (+0.01) 12.29 (+0.18) 71.26 (+0.02)
93f3f4 29.95 (+0.01) 29.22 (-0.01) 10.45 (-0.09) 69.62 (-0.01)
f6e2e0 29.54 (+0.01) 29.46 (-0.01) 11.51 (+0.10) 70.50 (+0.01)
f6e2e0 29.33 (-0.01) 29.78 (+0.01) 10.42 (-0.15) 69.53 (-0.02)
f6e2e0 29.58 (+0.01) 29.43 (-0.02) 12.25 (-0.10) 71.26 (-0.03)
f1d960 29.41 (-0.02) 30.16 (+0.02) 13.61 (+0.28) 73.18 (+0.04)
4a9279 29.94 (+0.02) 29.44 (-0.03) 10.66 (-0.10) 70.05 (-0.02)
2e4bf7 29.44 (+0.01) 30.27 (+0.04) 11.85 (+0.12) 71.56 (+0.04)
ce8fbb 29.06 (-0.02) 29.21 (-0.03) 10.62 (-0.05) 68.89 (-0.03)
ce8fbb 29.67 (-0.00) 29.99 (+0.01) 11.22 (-0.14) 70.88 (-0.02)
ce8fbb 29.77 (+0.01) 29.56 (-0.01) 13.07 (+0.20) 72.41 (+0.03)
d1a0f2 29.47 (-0.02) 29.99 (+0.00) 10.93 (-0.01) 70.40 (-0.01)
ccf92d 30.21 (+0.01) 29.86 (+0.03) 11.04 (+0.04) 71.12 (+0.02)
02b8e0 29.83 (+0.00) 29.11 (-0.01) 10.65 (+0.01) 69.60 (-0.00)
7b9057 29.74 (-0.02) 29.45 (-0.02) 10.54 (-0.12) 69.73 (-0.04)
9cada8 30.21 (+0.02) 30.08 (-0.01) 11.97 (+0.13) 72.27 (+0.03)
9cada8 29.53 (-0.02) 30.37 (+0.03) 10.57 (-0.22) 70.48 (-0.04)
9cada8 30.21 (+0.02) 29.44 (-0.02) 13.57 (+0.27) 73.22 (+0.04)
a60f68 29.53 (-0.00) 30.01 (+0.02) 10.66 (-0.11) 70.20 (-0.01)
d19c52 29.61 (+0.00) 29.55 (-0.01) 11.95 (-0.26) 71.11 (-0.06)
000eb1 29.49 (+0.00) 29.81 (+0.01) 16.12 (-0.03) 75.43 (-0.00)
000eb1 29.44 (-0.00) 29.56 (+0.01) 16.69 (+0.33) 75.70 (+0.06)
f51b48 29.46 (+0.00) 29.34 (-0.03) 12.57 (+0.07) 71.38 (-0.00)
f51b48 29.45 (-0.04) 30.21 (+0.01) 11.73 (+0.13) 71.40 (+0.01)
f51b48 30.53 (+0.04) 30.04 (+0.02) 10.42 (-0.34) 71.00 (-0.05)
9f906f 29.45 (-0.00) 29.49 (-0.00) 15.76 (+0.46) 74.70 (+0.07)
0692ff 29.56 (+0.00) 29.51 (+0.00) 10.78 (-0.09) 69.86 (-0.01)
2caece 29.53 (-0.02) 29.40 (-0.03) 11.85 (-0.20) 70.79 (-0.06)
bc7d3c 30.00 (-0.01) 30.22 (+0.02) 14.77 (+0.08) 74.99 (+0.02)
2153d2 30.27 (+0.03) 29.56 (-0.01) 13.73 (+0.00) 73.56 (+0.01)
2153d2 29.40 (-0.02) 29.96 (+0.02) 13.68 (+0.25) 73.05 (+0.04)
2153d2 29.92 (+0.02) 29.43 (-0.03) 10.93 (-0.04) 70.28 (-0.01)
a1b062 29.39 (-0.00) 30.27 (+0.00) 11.43 (+0.07) 71.10 (+0.01)
1d9d7c 29.52 (-0.03) 30.21 (+0.02) 10.67 (-0.24) 70.40 (-0.05)
3569c1 30.36 (+0.03) 29.66 (+0.00) 14.10 (+0.22) 74.11 (+0.05)
eaff14 29.48 (-0.00) 29.64 (-0.02) 11.57 (-0.24) 70.69 (-0.06)
f383b4 29.53 (-0.01) 30.16 (+0.03) 15.28 (+0.30) 74.96 (+0.06)
f383b4 29.73 (+0.01) 29.37 (+0.00) 11.76 (-0.08) 70.86 (-0.01)
f383b4 29.42 (-0.01) 29.36 (-0.02) 12.85 (+0.23) 71.62 (+0.02)
a4256b 29.73 (-0.01) 29.85 (+0.02) 10.48 (-0.18) 70.07 (-0.03)
371493 29.95 (+0.01) 29.34 (-0.01) 12.85 (+0.01) 72.14 (-0.00)
c5c143 29.75 (-0.01) 29.74 (-0.01) 12.71 (+0.20) 72.21 (+0.02)
58fa4f 30.06 (+0.02) 30.13 (+0.01) 10.56 (-0.18) 70.75 (-0.02)
121d53 29.57 (+0.00) 29.94 (-0.01) 12.83 (-0.10) 72.34 (-0.02)
121d53 29.49 (+0.00) 30.15 (+0.03) 14.19 (+0.03) 73.83 (+0.02)
ec3a3a 29.43 (-0.00) 29.36 (+0.00) 13.77 (-0.13) 72.56 (-0.03)
96e783 29.51 (-0.01) 29.36 (+0.00) 15.85 (+0.51) 74.72 (+0.07)
567b71 29.80 (+0.01) 29.24 (-0.03) 10.52 (-0.02) 69.56 (-0.01)
847fc5 29.51 (+0.00) 30.05 (+0.00) 10.77 (-0.29) 70.33 (-0.06)
5e08b3 29.47 (-0.06) 30.02 (+0.02) 15.13 (+0.22) 74.62 (+0.02)
4d291d 31.26 (+0.04) 29.53 (-0.01) 12.39 (+0.16) 73.19 (+0.04)
4d291d 30.07 (+0.02) 29.93 (-0.00) 10.69 (-0.00) 70.70 (+0.01)
bf63f1 29.46 (-0.01) 29.99 (+0.02) 10.70 (-0.20) 70.15 (-0.03)
0a0958 29.87 (-0.01) 29.41 (-0.00) 13.38 (+0.20) 72.66 (+0.03)
aabca5 30.20 (+0.02) 29.43 (-0.03) 11.14 (-0.24) 70.77 (-0.05)
a4be54 29.49 (+0.00) 30.28 (+0.03) 14.61 (+0.34) 74.39 (+0.07)
a3d7ad 29.38 (-0.01) 29.26 (-0.05) 10.90 (-0.12) 69.55 (-0.04)
a3d7ad 29.59 (+0.01) 30.72 (+0.04) 12.40 (+0.10) 72.72 (+0.04)
8ba169 29.28 (-0.00) 29.42 (-0.02) 11.26 (-0.02) 69.96 (-0.01)
e5cc2f 29.40 (-0.00) 29.89 (+0.02) 11.50 (-0.10) 70.79 (-0.01)
c6b56d 29.47 (-0.02) 29.32 (-0.00) 12.83 (+0.17) 71.62 (+0.02)
e067cd 30.22 (+0.03) 29.38 (-0.02) 10.96 (-0.00) 70.56 (+0.00)
bce423 29.46 (-0.02) 30.06 (+0.02) 10.98 (-0.00) 70.50 (+0.00)
bce423 30.07 (+0.02) 29.37 (-0.02) 11.01 (-0.04) 70.45 (-0.01)
c28bfd 29.45 29.85 11.52 70.82

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query0-10]

platform: rds-postgres

revision Q0/1 Q0/2 Q0/3 total_duration
e43cde 1.51 (-0.03) 1.57 (-0.04) 1.59 (-0.02) 4.68 (-0.03)
6b1c4c 1.56 (+0.03) 1.64 (+0.05) 1.61 (-0.07) 4.82 (+0.00)
5d13a2 1.52 (-0.02) 1.56 (+0.05) 1.72 (-0.03) 4.81 (+0.00)
f7249b 1.55 (-0.00) 1.48 (-0.01) 1.78 (+0.13) 4.81 (+0.04)
306c4f 1.56 (-0.01) 1.49 (-0.00) 1.57 (-0.01) 4.62 (-0.01)
bd5934 1.58 (+0.01) 1.49 (-0.02) 1.58 (-0.01) 4.66 (-0.00)
b1a112 1.57 (+0.06) 1.51 (-0.05) 1.59 (-0.07) 4.67 (-0.03)
99c159 1.49 (-0.01) 1.59 (+0.06) 1.72 (+0.01) 4.79 (+0.01)
ea5a97 1.51 (-0.01) 1.51 (+0.02) 1.70 (+0.09) 4.73 (+0.03)
89275f 1.52 (+0.00) 1.49 (-0.02) 1.56 (-0.03) 4.59 (-0.02)
6d33d8 1.52 (-0.12) 1.52 (-0.12) 1.61 (-0.03) 4.67 (-0.09)
a7f4ee 1.73 (-0.57) 1.74 (+0.04) 1.65 (+0.06) 5.12 (-0.29)
6f28da 4.00 1.67 1.56 7.23

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query1-10]

platform: rds-postgres

revision Q1/1 Q1/2 Q1/3 total_duration
e43cde 45.46 (-0.01) 45.56 (-0.01) 46.06 (-0.01) 137.09 (-0.01)
6b1c4c 45.90 (-0.01) 46.02 (-0.01) 46.53 (-0.01) 138.45 (-0.01)
5d13a2 46.33 (-0.01) 46.49 (-0.01) 47.00 (+0.00) 139.82 (-0.01)
f7249b 46.83 (-0.01) 46.95 (-0.01) 46.95 (-0.02) 140.73 (-0.01)
306c4f 47.24 (-0.01) 47.42 (-0.01) 47.93 (+0.00) 142.58 (-0.01)
bd5934 47.73 (-0.01) 47.88 (-0.01) 47.88 (-0.01) 143.49 (-0.01)
b1a112 48.14 (-0.01) 48.36 (-0.01) 48.35 (-0.01) 144.84 (-0.01)
99c159 48.58 (-0.01) 48.82 (-0.01) 48.82 (-0.01) 146.23 (-0.01)
ea5a97 49.01 (-0.02) 49.29 (-0.01) 49.29 (-0.01) 147.59 (-0.01)
89275f 49.95 (+0.00) 49.76 (-0.01) 49.75 (-0.02) 149.47 (-0.01)
6d33d8 49.92 (-0.01) 50.28 (-0.01) 50.68 (-0.00) 150.88 (-0.01)
a7f4ee 50.37 (-0.07) 50.69 (-0.06) 50.69 (-0.07) 151.75 (-0.07)
6f28da 53.87 54.21 54.21 162.30

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query2-10]

platform: rds-postgres

revision Q2/1 Q2/2 Q2/3 total_duration
e43cde 45.47 (-0.01) 45.53 (-0.01) 45.53 (-0.01) 136.54 (-0.01)
6b1c4c 45.92 (-0.01) 46.00 (-0.01) 46.00 (-0.01) 137.92 (-0.01)
5d13a2 46.35 (-0.01) 46.47 (-0.01) 46.46 (-0.02) 139.29 (-0.01)
f7249b 46.76 (-0.01) 46.93 (-0.01) 47.45 (+0.00) 141.14 (-0.01)
306c4f 47.25 (-0.01) 47.40 (-0.01) 47.42 (-0.02) 142.07 (-0.01)
bd5934 47.69 (-0.01) 47.89 (-0.02) 48.36 (+0.00) 143.94 (-0.01)
b1a112 48.12 (-0.01) 48.85 (+0.00) 48.33 (-0.02) 145.30 (-0.01)
99c159 48.57 (-0.01) 48.81 (-0.01) 49.31 (+0.00) 146.69 (-0.01)
ea5a97 49.00 (-0.01) 49.28 (-0.01) 49.26 (-0.01) 147.55 (-0.01)
89275f 49.44 (-0.01) 49.74 (-0.01) 49.73 (-0.01) 148.91 (-0.01)
6d33d8 49.92 (-0.01) 50.22 (-0.01) 50.18 (-0.02) 150.32 (-0.01)
a7f4ee 50.35 (-0.07) 50.67 (-0.07) 51.18 (-0.06) 152.20 (-0.06)
6f28da 53.86 54.72 54.19 162.77

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query3-10]

platform: rds-postgres

revision Q3/1 Q3/2 Q3/3 total_duration
e43cde 1.57 (-0.04) 1.62 (+0.03) 1.56 (-0.05) 4.76 (-0.02)
6b1c4c 1.63 (+0.04) 1.57 (-0.04) 1.65 (+0.05) 4.85 (+0.01)
5d13a2 1.57 (-0.12) 1.64 (+0.07) 1.58 (+0.03) 4.79 (-0.01)
f7249b 1.78 (+0.16) 1.54 (+0.00) 1.54 (-0.04) 4.85 (+0.04)
306c4f 1.54 (-0.00) 1.54 (-0.07) 1.60 (+0.02) 4.68 (-0.02)
bd5934 1.54 (-0.02) 1.65 (+0.06) 1.56 (-0.04) 4.76 (+0.00)
b1a112 1.56 (+0.01) 1.56 (-0.03) 1.63 (+0.06) 4.75 (+0.01)
99c159 1.54 (-0.01) 1.61 (-0.04) 1.54 (-0.04) 4.70 (-0.03)
ea5a97 1.56 (-0.01) 1.67 (+0.09) 1.60 (+0.04) 4.83 (+0.04)
89275f 1.58 (-0.04) 1.54 (-0.06) 1.54 (-0.02) 4.66 (-0.04)
6d33d8 1.65 (+0.04) 1.64 (+0.06) 1.57 (-0.08) 4.86 (+0.00)
a7f4ee 1.59 (+0.02) 1.54 (-0.05) 1.70 (+0.03) 4.84 (+0.00)
6f28da 1.57 1.62 1.65 4.84

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query4-10]

platform: rds-postgres

revision Q4/1 Q4/2 Q4/3 total_duration
e43cde 3.57 (+0.00) 3.63 (-0.03) 3.54 (-0.05) 10.75 (-0.02)
6b1c4c 3.56 (-0.01) 3.73 (+0.02) 3.72 (+0.01) 11.02 (+0.01)
5d13a2 3.61 (+0.05) 3.65 (+0.04) 3.69 (-0.00) 10.95 (+0.03)
f7249b 3.43 (+0.02) 3.52 (-0.03) 3.70 (-0.06) 10.65 (-0.03)
306c4f 3.38 (-0.08) 3.61 (+0.03) 3.96 (+0.12) 10.95 (+0.02)
bd5934 3.67 (-0.06) 3.51 (-0.00) 3.52 (-0.08) 10.70 (-0.05)
b1a112 3.89 (-0.00) 3.51 (+0.04) 3.81 (-0.10) 11.21 (-0.02)
99c159 3.89 (-0.01) 3.37 (-0.12) 4.22 (+0.20) 11.49 (+0.02)
ea5a97 3.92 (+0.04) 3.84 (+0.05) 3.52 (-0.04) 11.27 (+0.01)
89275f 3.75 (+0.00) 3.67 (+0.03) 3.69 (+0.00) 11.11 (+0.01)
6d33d8 3.73 (+0.05) 3.55 (-0.03) 3.67 (+0.05) 10.95 (+0.02)
a7f4ee 3.57 (+0.03) 3.66 (-0.00) 3.50 (-0.03) 10.72 (-0.00)
6f28da 3.47 3.66 3.60 10.74

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query5-10]

platform: rds-postgres

revision Q5/1 Q5/2 Q5/3 total_duration
e43cde 55.14 (-0.01) 55.02 (-0.01) 55.72 (+0.01) 165.88 (-0.00)
6b1c4c 55.43 (-0.01) 55.69 (-0.00) 55.19 (-0.02) 166.31 (-0.01)
5d13a2 55.83 (-0.01) 55.91 (-0.00) 56.57 (+0.01) 168.31 (-0.00)
f7249b 56.30 (-0.01) 56.18 (-0.02) 56.19 (-0.03) 168.67 (-0.02)
306c4f 56.88 (-0.02) 57.17 (-0.00) 57.75 (+0.00) 171.81 (-0.01)
bd5934 57.81 (+0.00) 57.24 (-0.01) 57.66 (-0.00) 172.72 (-0.00)
b1a112 57.70 (-0.01) 57.77 (-0.01) 57.82 (-0.00) 173.29 (-0.01)
99c159 58.10 (-0.01) 58.12 (-0.01) 58.01 (-0.01) 174.24 (-0.01)
ea5a97 58.77 (+0.00) 58.81 (+0.00) 58.74 (+0.00) 176.31 (+0.00)
89275f 58.57 (-0.01) 58.68 (-0.02) 58.61 (-0.01) 175.86 (-0.01)
6d33d8 59.26 (-0.00) 59.72 (+0.00) 59.27 (-0.00) 178.25 (+0.00)
a7f4ee 59.36 (-0.06) 59.42 (-0.06) 59.43 (-0.06) 178.21 (-0.06)
6f28da 63.15 63.20 63.02 189.37

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query6-10]

platform: rds-postgres

revision Q6/1 Q6/2 Q6/3 total_duration
e43cde 1.64 (-0.04) 1.65 (-0.01) 1.77 (+0.07) 5.06 (+0.01)
6b1c4c 1.71 (+0.03) 1.67 (-0.02) 1.65 (-0.05) 5.03 (-0.01)
5d13a2 1.65 (+0.02) 1.71 (+0.06) 1.73 (+0.07) 5.10 (+0.05)
f7249b 1.62 (-0.07) 1.61 (-0.00) 1.61 (-0.04) 4.85 (-0.04)
306c4f 1.74 (+0.02) 1.61 (-0.01) 1.67 (+0.03) 5.03 (+0.02)
bd5934 1.70 (+0.03) 1.63 (-0.05) 1.62 (-0.10) 4.95 (-0.04)
b1a112 1.64 (-0.05) 1.72 (+0.02) 1.81 (+0.11) 5.18 (+0.03)
99c159 1.72 (+0.05) 1.68 (-0.04) 1.63 (-0.05) 5.03 (-0.02)
ea5a97 1.64 (+0.02) 1.74 (-0.02) 1.72 (+0.07) 5.11 (+0.02)
89275f 1.61 (-0.02) 1.77 (+0.07) 1.61 (-0.03) 5.00 (+0.00)
6d33d8 1.65 (+0.02) 1.66 (+0.03) 1.67 (-0.00) 4.98 (+0.02)
a7f4ee 1.61 (-0.03) 1.61 (-0.06) 1.67 (-0.02) 4.90 (-0.03)
6f28da 1.65 1.71 1.70 5.06

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query7-10]

platform: rds-postgres

revision Q7/1 Q7/2 Q7/3 total_duration
e43cde 45.44 (-0.01) 45.51 (-0.01) 45.51 (-0.01) 136.46 (-0.01)
6b1c4c 45.91 (-0.01) 46.00 (-0.01) 46.00 (-0.01) 137.91 (-0.01)
5d13a2 46.25 (-0.01) 46.39 (-0.02) 46.37 (-0.01) 139.01 (-0.01)
f7249b 46.73 (-0.01) 47.42 (+0.00) 46.91 (-0.01) 141.06 (-0.01)
306c4f 47.25 (-0.01) 47.38 (-0.02) 47.38 (-0.01) 142.01 (-0.01)
bd5934 47.68 (-0.01) 48.38 (-0.01) 47.85 (-0.01) 143.91 (-0.01)
b1a112 48.20 (-0.01) 48.85 (-0.01) 48.35 (-0.01) 145.40 (-0.01)
99c159 48.57 (-0.01) 49.30 (+0.00) 48.79 (-0.02) 146.67 (-0.01)
ea5a97 48.97 (-0.01) 49.22 (-0.01) 49.74 (-0.01) 147.93 (-0.01)
89275f 49.40 (-0.01) 49.70 (-0.01) 50.20 (+0.00) 149.30 (-0.01)
6d33d8 49.92 (-0.01) 50.22 (-0.02) 50.16 (-0.01) 150.30 (-0.01)
a7f4ee 50.38 (-0.07) 51.19 (-0.06) 50.67 (-0.06) 152.24 (-0.06)
6f28da 54.36 54.20 54.19 162.74

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query8-10]

platform: rds-postgres

revision Q8/1 Q8/2 Q8/3 total_duration
e43cde 52.16 (-0.03) 53.27 (-0.01) 52.64 (+0.00) 158.07 (-0.01)
6b1c4c 53.95 (-0.00) 53.90 (-0.00) 52.59 (-0.04) 160.44 (-0.01)
5d13a2 54.14 (-0.01) 54.10 (+0.01) 54.57 (+0.02) 162.82 (+0.00)
f7249b 54.96 (+0.01) 53.62 (-0.02) 53.47 (-0.02) 162.05 (-0.01)
306c4f 54.19 (-0.01) 54.61 (-0.02) 54.61 (-0.02) 163.41 (-0.01)
bd5934 54.75 (-0.03) 55.54 (-0.01) 55.45 (+0.00) 165.74 (-0.01)
b1a112 56.19 (-0.00) 55.92 (-0.00) 55.25 (+0.00) 167.36 (-0.00)
99c159 56.25 (+0.01) 56.14 (+0.00) 55.25 (-0.02) 167.64 (-0.00)
ea5a97 55.94 (-0.00) 55.99 (-0.01) 56.11 (+0.00) 168.04 (-0.00)
89275f 56.06 (-0.02) 56.36 (-0.03) 56.04 (-0.03) 168.47 (-0.03)
6d33d8 57.29 (+0.00) 57.93 (+0.01) 57.89 (+0.01) 173.11 (+0.01)
a7f4ee 57.16 (-0.06) 57.17 (-0.06) 57.08 (-0.07) 171.41 (-0.06)
6f28da 60.59 60.60 61.69 182.89

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query9-10]

platform: rds-postgres

revision Q9/1 Q9/2 Q9/3 total_duration
e43cde 52.61 (-0.01) 52.96 (-0.00) 52.76 (-0.01) 158.32 (-0.01)
6b1c4c 53.07 (-0.00) 53.05 (-0.01) 53.07 (-0.01) 159.20 (-0.01)
5d13a2 53.29 (-0.01) 53.44 (-0.02) 53.45 (-0.01) 160.19 (-0.01)
f7249b 53.86 (-0.01) 54.54 (-0.00) 53.95 (-0.01) 162.35 (-0.01)
306c4f 54.52 (-0.03) 54.73 (-0.01) 54.68 (-0.01) 163.93 (-0.01)
bd5934 55.97 (-0.00) 55.07 (-0.01) 55.19 (-0.02) 166.23 (-0.01)
b1a112 56.12 (-0.00) 55.77 (-0.01) 56.16 (+0.01) 168.04 (+0.00)
99c159 56.27 (+0.00) 56.16 (-0.01) 55.52 (-0.01) 167.96 (-0.00)
ea5a97 56.07 (-0.01) 56.60 (-0.01) 55.91 (-0.01) 168.58 (-0.01)
89275f 56.59 (-0.01) 56.89 (-0.00) 56.53 (-0.01) 170.02 (-0.01)
6d33d8 56.97 (-0.01) 57.16 (-0.01) 57.08 (-0.00) 171.22 (-0.01)
a7f4ee 57.33 (-0.06) 57.59 (-0.06) 57.36 (-0.06) 172.28 (-0.06)
6f28da 60.88 61.38 61.00 183.27

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query10-10]

platform: rds-postgres

revision Q10/1 Q10/2 Q10/3 total_duration
e43cde 45.44 (-0.01) 45.51 (-0.02) 46.04 (+0.00) 136.99 (-0.01)
6b1c4c 46.07 (-0.00) 46.50 (+0.01) 45.93 (-0.02) 138.51 (-0.00)
5d13a2 46.12 (-0.01) 46.19 (-0.01) 46.71 (-0.00) 139.02 (-0.01)
f7249b 46.61 (-0.01) 46.89 (-0.02) 46.71 (-0.01) 140.22 (-0.02)
306c4f 47.29 (-0.01) 47.97 (+0.00) 47.34 (-0.01) 142.60 (-0.01)
bd5934 47.87 (-0.01) 47.92 (-0.01) 47.98 (-0.01) 143.77 (-0.01)
b1a112 48.28 (-0.01) 48.36 (-0.01) 48.37 (-0.01) 145.01 (-0.01)
99c159 48.66 (-0.01) 48.73 (-0.00) 48.77 (-0.00) 146.16 (-0.01)
ea5a97 49.00 (-0.01) 48.97 (-0.01) 49.00 (-0.01) 146.97 (-0.01)
89275f 49.43 (-0.02) 49.65 (-0.01) 49.50 (-0.01) 148.57 (-0.02)
6d33d8 50.58 (+0.00) 50.11 (-0.01) 50.16 (-0.01) 150.85 (-0.00)
a7f4ee 50.40 (-0.07) 50.59 (-0.08) 50.46 (-0.07) 151.44 (-0.07)
6f28da 54.00 54.73 54.18 162.92

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query11-10]

platform: rds-postgres

revision Q11/1 Q11/2 Q11/3 total_duration
e43cde 45.44 (-0.01) 45.60 (-0.01) 45.58 (-0.01) 136.62 (-0.01)
6b1c4c 45.88 (-0.00) 46.00 (-0.01) 45.99 (-0.01) 137.88 (-0.01)
5d13a2 46.09 (-0.01) 46.37 (-0.02) 46.31 (-0.01) 138.76 (-0.01)
f7249b 46.64 (-0.01) 47.23 (-0.00) 46.73 (-0.01) 140.59 (-0.01)
306c4f 47.30 (-0.02) 47.42 (-0.01) 47.37 (-0.01) 142.09 (-0.02)
bd5934 48.35 (-0.01) 47.98 (-0.01) 47.95 (-0.01) 144.29 (-0.01)
b1a112 48.77 (+0.00) 48.37 (-0.02) 48.31 (-0.01) 145.46 (-0.01)
99c159 48.63 (-0.01) 49.23 (-0.01) 48.72 (-0.01) 146.57 (-0.01)
ea5a97 48.88 (-0.01) 49.52 (-0.01) 48.97 (-0.01) 147.38 (-0.01)
89275f 49.43 (-0.01) 50.06 (-0.00) 49.55 (-0.01) 149.04 (-0.01)
6d33d8 49.98 (-0.02) 50.12 (-0.01) 50.08 (-0.01) 150.18 (-0.01)
a7f4ee 50.93 (-0.06) 50.54 (-0.07) 50.54 (-0.07) 152.01 (-0.06)
6f28da 54.01 54.23 54.12 162.37

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query12-10]

platform: rds-postgres

revision Q12/1 Q12/2 Q12/3 total_duration
e43cde 54.30 (-0.01) 53.94 (-0.03) 54.58 (-0.00) 162.82 (-0.02)
6b1c4c 55.07 (+0.00) 55.61 (+0.01) 54.84 (-0.03) 165.53 (-0.00)
5d13a2 54.85 (-0.01) 54.99 (-0.01) 56.32 (+0.02) 166.16 (+0.00)
f7249b 55.27 (-0.01) 55.33 (-0.03) 55.44 (-0.01) 166.05 (-0.02)
306c4f 55.98 (-0.01) 57.02 (+0.01) 56.23 (-0.00) 169.23 (+0.00)
bd5934 56.32 (-0.01) 56.36 (-0.01) 56.47 (-0.01) 169.15 (-0.01)
b1a112 56.94 (-0.01) 57.05 (-0.01) 57.06 (-0.01) 171.05 (-0.01)
99c159 57.43 (-0.01) 57.52 (-0.01) 57.49 (-0.00) 172.44 (-0.01)
ea5a97 57.92 (-0.01) 57.96 (-0.01) 57.75 (-0.01) 173.63 (-0.01)
89275f 58.34 (-0.02) 58.57 (-0.01) 58.35 (-0.01) 175.27 (-0.01)
6d33d8 59.37 (-0.00) 59.22 (-0.00) 58.94 (-0.01) 177.53 (-0.00)
a7f4ee 59.63 (-0.05) 59.24 (-0.07) 59.28 (-0.06) 178.15 (-0.06)
6f28da 62.93 63.59 62.92 189.45

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query13-10]

platform: rds-postgres

revision Q13/1 Q13/2 Q13/3 total_duration
e43cde 51.14 (-0.00) 51.08 (-0.00) 50.76 (-0.01) 152.97 (-0.01)
6b1c4c 51.32 (-0.00) 51.22 (-0.00) 51.23 (-0.00) 153.77 (-0.00)
5d13a2 51.52 (-0.01) 51.37 (-0.01) 51.23 (-0.01) 154.13 (-0.01)
f7249b 51.83 (-0.01) 51.77 (-0.01) 51.65 (-0.01) 155.25 (-0.01)
306c4f 52.54 (-0.02) 52.50 (-0.01) 52.36 (-0.01) 157.41 (-0.01)
bd5934 53.47 (-0.01) 53.20 (-0.01) 53.08 (-0.01) 159.75 (-0.01)
b1a112 54.18 (-0.01) 53.59 (-0.00) 53.58 (-0.00) 161.35 (-0.00)
99c159 54.46 (-0.01) 53.78 (-0.02) 53.67 (-0.01) 161.91 (-0.01)
ea5a97 54.99 (-0.01) 54.66 (+0.00) 54.18 (-0.01) 163.82 (-0.01)
89275f 55.65 (+0.00) 54.63 (-0.02) 54.76 (-0.02) 165.03 (-0.01)
6d33d8 55.38 (-0.02) 55.48 (-0.00) 56.01 (+0.01) 166.87 (-0.00)
a7f4ee 56.34 (-0.05) 55.63 (-0.06) 55.54 (-0.07) 167.51 (-0.06)
6f28da 59.46 59.47 59.62 178.55

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query14-10]

platform: rds-postgres

revision Q14/1 Q14/2 Q14/3 total_duration
e43cde 54.50 (-0.01) 54.55 (-0.02) 55.13 (+0.00) 164.17 (-0.01)
6b1c4c 55.08 (-0.01) 55.72 (-0.00) 54.99 (-0.00) 165.80 (-0.00)
5d13a2 55.38 (+0.00) 55.76 (+0.01) 55.01 (-0.00) 166.15 (+0.00)
f7249b 55.23 (-0.02) 55.29 (-0.03) 55.19 (-0.02) 165.71 (-0.02)
306c4f 56.47 (-0.01) 56.92 (-0.00) 56.19 (-0.02) 169.59 (-0.01)
bd5934 56.93 (-0.01) 57.05 (-0.01) 57.49 (-0.01) 171.48 (-0.01)
b1a112 57.46 (-0.00) 57.72 (+0.00) 58.03 (+0.01) 173.22 (+0.00)
99c159 57.53 (-0.01) 57.52 (-0.01) 57.55 (-0.01) 172.61 (-0.01)
ea5a97 57.95 (-0.02) 57.98 (-0.01) 58.10 (-0.01) 174.03 (-0.01)
89275f 58.92 (-0.02) 58.84 (-0.02) 58.53 (-0.02) 176.30 (-0.02)
6d33d8 59.83 (+0.00) 59.83 (+0.01) 59.88 (-0.00) 179.55 (+0.00)
a7f4ee 59.54 (-0.06) 59.37 (-0.07) 59.90 (-0.06) 178.81 (-0.06)
6f28da 63.55 63.59 63.72 190.87

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query15-10]

platform: rds-postgres

revision Q15/1 Q15/2 Q15/3 total_duration
e43cde 8.63 (+0.11) 7.69 (-0.01) 8.55 (+0.02) 24.88 (+0.04)
6b1c4c 7.75 (-0.02) 7.78 (-0.00) 8.37 (+0.04) 23.91 (+0.01)
5d13a2 7.88 (+0.07) 7.80 (+0.03) 8.05 (+0.05) 23.74 (+0.05)
f7249b 7.37 (-0.00) 7.58 (+0.00) 7.63 (+0.02) 22.58 (+0.00)
306c4f 7.41 (-0.03) 7.58 (-0.06) 7.49 (-0.07) 22.48 (-0.05)
bd5934 7.60 (-0.01) 8.05 (+0.02) 8.08 (-0.05) 23.74 (-0.01)
b1a112 7.70 (+0.04) 7.89 (+0.03) 8.49 (+0.08) 24.08 (+0.05)
99c159 7.37 (-0.05) 7.68 (-0.05) 7.89 (-0.02) 22.94 (-0.04)
ea5a97 7.77 (-0.08) 8.10 (-0.09) 8.05 (+0.02) 23.92 (-0.05)
89275f 8.47 (+0.08) 8.94 (+0.16) 7.87 (-0.02) 25.28 (+0.07)
6d33d8 7.85 (+0.04) 7.73 (-0.00) 8.00 (-0.01) 23.58 (+0.01)
a7f4ee 7.55 (-0.04) 7.74 (-0.00) 8.12 (+0.03) 23.40 (-0.00)
6f28da 7.85 7.76 7.89 23.49

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query16-10]

platform: rds-postgres

revision Q16/1 Q16/2 Q16/3 total_duration
e43cde 57.17 (-0.01) 57.43 (+0.00) 57.65 (+0.01) 172.25 (-0.00)
6b1c4c 57.99 (+0.01) 57.38 (+0.01) 57.14 (-0.01) 172.51 (+0.00)
5d13a2 57.58 (-0.01) 56.82 (-0.03) 57.46 (+0.01) 171.86 (-0.01)
f7249b 58.22 (-0.00) 58.62 (-0.01) 56.79 (-0.03) 173.64 (-0.01)
306c4f 58.29 (-0.03) 59.21 (-0.01) 58.64 (-0.02) 176.14 (-0.02)
bd5934 60.17 (+0.00) 59.99 (+0.01) 60.06 (+0.00) 180.22 (+0.01)
b1a112 60.15 (-0.01) 59.30 (-0.02) 59.79 (-0.01) 179.24 (-0.01)
99c159 60.66 (+0.00) 60.42 (+0.01) 60.29 (+0.01) 181.38 (+0.01)
ea5a97 60.46 (-0.01) 60.10 (-0.02) 59.51 (-0.02) 180.08 (-0.02)
89275f 61.32 (-0.01) 61.47 (-0.01) 60.98 (-0.02) 183.78 (-0.01)
6d33d8 61.72 (-0.03) 61.83 (-0.01) 62.03 (-0.02) 185.58 (-0.02)
a7f4ee 63.79 (-0.03) 62.27 (-0.06) 63.33 (-0.06) 189.39 (-0.05)
6f28da 65.91 66.51 67.14 199.56

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query17-10]

platform: rds-postgres

revision Q17/1 Q17/2 Q17/3 total_duration
e43cde 55.32 (-0.01) 56.41 (+0.02) 55.61 (+0.01) 167.35 (+0.00)
6b1c4c 56.11 (+0.00) 55.51 (-0.01) 55.18 (-0.01) 166.81 (-0.00)
5d13a2 55.88 (-0.01) 55.79 (-0.00) 55.82 (-0.00) 167.49 (-0.00)
f7249b 56.34 (-0.02) 55.87 (-0.03) 55.88 (-0.01) 168.09 (-0.02)
306c4f 57.64 (+0.00) 57.36 (-0.02) 56.61 (-0.01) 171.61 (-0.01)
bd5934 57.39 (-0.01) 58.50 (+0.01) 57.47 (-0.02) 173.37 (-0.01)
b1a112 57.92 (-0.01) 57.76 (-0.02) 58.73 (+0.01) 174.42 (-0.01)
99c159 58.57 (-0.00) 59.17 (-0.00) 57.98 (-0.02) 175.72 (-0.01)
ea5a97 58.77 (-0.00) 59.42 (-0.01) 59.01 (+0.01) 177.21 (-0.00)
89275f 58.96 (-0.01) 59.92 (-0.00) 58.60 (-0.02) 177.48 (-0.01)
6d33d8 59.85 (-0.02) 60.04 (-0.00) 59.82 (-0.00) 179.72 (-0.01)
a7f4ee 60.80 (-0.05) 60.32 (-0.06) 60.05 (-0.08) 181.18 (-0.06)
6f28da 64.26 64.15 65.31 193.72

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query18-10]

platform: rds-postgres

revision Q18/1 Q18/2 Q18/3 total_duration
e43cde 61.87 (-0.00) 61.80 (+0.00) 62.13 (+0.00) 185.80 (+0.00)
6b1c4c 61.91 (+0.00) 61.61 (-0.00) 61.99 (-0.00) 185.51 (-0.00)
5d13a2 61.63 (-0.01) 61.85 (-0.00) 62.19 (+0.01) 185.67 (-0.00)
f7249b 62.21 (-0.03) 61.93 (-0.02) 61.66 (-0.03) 185.80 (-0.03)
306c4f 63.94 (-0.02) 63.15 (-0.03) 63.50 (-0.03) 190.59 (-0.03)
bd5934 65.19 (-0.00) 65.41 (+0.00) 65.38 (+0.00) 195.97 (+0.00)
b1a112 65.24 (+0.00) 65.25 (+0.00) 65.19 (+0.01) 195.68 (+0.00)
99c159 65.20 (-0.01) 65.18 (-0.01) 64.86 (-0.00) 195.23 (-0.01)
ea5a97 65.65 (+0.00) 65.73 (+0.00) 65.01 (-0.01) 196.39 (-0.00)
89275f 65.48 (-0.03) 65.52 (-0.02) 65.62 (-0.02) 196.63 (-0.02)
6d33d8 67.42 (+0.01) 66.93 (+0.01) 66.88 (+0.01) 201.22 (+0.01)
a7f4ee 66.91 (-0.05) 66.10 (-0.06) 66.43 (-0.06) 199.44 (-0.06)
6f28da 70.54 70.62 70.82 211.98

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query19-10]

platform: rds-postgres

revision Q19/1 Q19/2 Q19/3 total_duration
e43cde 0.79 (-0.01) 0.80 (-0.01) 0.79 (-0.01) 2.38 (-0.01)
6b1c4c 0.80 (+0.01) 0.80 (+0.01) 0.80 (+0.01) 2.40 (+0.01)
5d13a2 0.80 (+0.01) 0.79 (-0.00) 0.80 (+0.00) 2.39 (+0.00)
f7249b 0.79 (-0.01) 0.79 (-0.01) 0.80 (-0.01) 2.38 (-0.01)
306c4f 0.79 (-0.01) 0.80 (-0.04) 0.81 (+0.01) 2.40 (-0.01)
bd5934 0.80 (-0.12) 0.83 (+0.04) 0.80 (-0.06) 2.43 (-0.05)
b1a112 0.90 (+0.12) 0.80 (+0.01) 0.86 (+0.07) 2.56 (+0.07)
99c159 0.80 (+0.01) 0.79 (-0.08) 0.80 (+0.00) 2.40 (-0.02)
ea5a97 0.79 (-0.01) 0.86 (+0.08) 0.80 (+0.01) 2.45 (+0.03)
89275f 0.80 (-0.07) 0.80 (-0.01) 0.79 (-0.02) 2.39 (-0.04)
6d33d8 0.86 (+0.08) 0.81 (+0.02) 0.81 (+0.03) 2.48 (+0.04)
a7f4ee 0.80 (+0.00) 0.79 (-0.01) 0.79 (-0.01) 2.38 (-0.01)
6f28da 0.80 0.80 0.80 2.39

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query20-10]

platform: rds-postgres

revision Q20/1 Q20/2 Q20/3 total_duration
e43cde 44.73 (+0.02) 44.24 (+0.00) 44.23 (+0.00) 133.20 (+0.01)
6b1c4c 43.98 (+0.00) 44.07 (+0.00) 44.06 (+0.00) 132.11 (+0.00)
5d13a2 43.85 (-0.03) 43.96 (-0.04) 43.96 (-0.03) 131.77 (-0.03)
f7249b 45.17 (-0.01) 45.84 (+0.00) 45.32 (-0.01) 136.34 (-0.01)
306c4f 45.68 (-0.04) 45.83 (-0.03) 45.82 (-0.03) 137.33 (-0.03)
bd5934 47.61 (+0.00) 47.24 (-0.01) 47.18 (-0.01) 142.03 (-0.00)
b1a112 47.53 (-0.01) 47.56 (-0.01) 47.56 (-0.01) 142.66 (-0.01)
99c159 48.20 (+0.00) 47.90 (+0.00) 47.90 (+0.00) 144.00 (+0.00)
ea5a97 47.98 (-0.02) 47.74 (-0.02) 47.74 (-0.02) 143.47 (-0.02)
89275f 48.99 (-0.01) 48.77 (-0.02) 48.78 (-0.03) 146.55 (-0.02)
6d33d8 49.28 (+0.01) 49.52 (+0.01) 50.04 (+0.02) 148.84 (+0.01)
a7f4ee 48.87 (-0.08) 49.18 (-0.09) 49.18 (-0.08) 147.23 (-0.09)
6f28da 53.26 54.09 53.56 160.91

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query21-10]

platform: rds-postgres

revision Q21/1 Q21/2 Q21/3 total_duration
e43cde 44.30 (+0.00) 44.37 (+0.00) 44.45 (-0.01) 133.12 (+0.00)
6b1c4c 44.10 (+0.00) 44.18 (+0.00) 44.77 (+0.01) 133.05 (+0.01)
5d13a2 44.02 (-0.03) 44.02 (-0.03) 44.11 (-0.03) 132.16 (-0.03)
f7249b 45.34 (-0.01) 45.33 (-0.01) 45.32 (-0.02) 136.00 (-0.02)
306c4f 45.76 (-0.03) 45.98 (-0.03) 46.34 (-0.02) 138.09 (-0.02)
bd5934 47.12 (-0.01) 47.19 (-0.01) 47.20 (-0.01) 141.51 (-0.01)
b1a112 47.42 (-0.01) 47.54 (-0.01) 47.54 (-0.01) 142.51 (-0.01)
99c159 47.72 (+0.00) 47.88 (+0.00) 47.87 (+0.00) 143.48 (+0.00)
ea5a97 47.50 (-0.02) 47.72 (-0.02) 47.72 (-0.02) 142.94 (-0.02)
89275f 48.51 (-0.02) 48.76 (-0.01) 48.74 (-0.02) 146.01 (-0.02)
6d33d8 49.27 (+0.01) 49.50 (+0.01) 49.51 (-0.00) 148.29 (+0.00)
a7f4ee 48.88 (-0.08) 49.15 (-0.08) 49.67 (-0.07) 147.71 (-0.08)
6f28da 53.21 53.54 53.54 160.29

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query22-10]

platform: rds-postgres

revision Q22/1 Q22/2 Q22/3 total_duration
e43cde 44.83 (+0.02) 44.50 (+0.01) 44.37 (+0.00) 133.70 (+0.01)
6b1c4c 44.12 (-0.01) 44.18 (+0.00) 44.18 (+0.00) 132.48 (-0.00)
5d13a2 44.57 (-0.02) 44.03 (-0.03) 44.02 (-0.04) 132.63 (-0.03)
f7249b 45.26 (-0.01) 45.33 (-0.01) 45.90 (+0.00) 136.50 (-0.01)
306c4f 45.83 (-0.04) 45.85 (-0.03) 45.84 (-0.03) 137.53 (-0.03)
bd5934 47.63 (-0.01) 47.22 (-0.01) 47.20 (-0.01) 142.05 (-0.01)
b1a112 47.94 (-0.01) 47.56 (-0.01) 47.49 (-0.01) 142.99 (-0.01)
99c159 48.22 (+0.00) 47.87 (+0.00) 47.86 (+0.00) 143.95 (+0.00)
ea5a97 48.10 (-0.02) 47.72 (-0.02) 47.70 (-0.02) 143.52 (-0.02)
89275f 49.01 (-0.01) 48.74 (-0.02) 48.74 (-0.03) 146.48 (-0.02)
6d33d8 49.26 (+0.01) 49.48 (+0.01) 50.00 (+0.02) 148.74 (+0.01)
a7f4ee 48.86 (-0.09) 49.14 (-0.08) 49.13 (-0.08) 147.14 (-0.08)
6f28da 53.71 53.54 53.51 160.76

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query23-10]

platform: rds-postgres

revision Q23/1 Q23/2 Q23/3 total_duration
e43cde 44.25 (+0.01) 44.25 (+0.00) 44.26 (+0.00) 132.76 (+0.00)
6b1c4c 44.01 (+0.00) 44.07 (+0.00) 44.08 (+0.00) 132.16 (+0.00)
5d13a2 43.87 (-0.03) 43.94 (-0.03) 43.94 (-0.03) 131.75 (-0.03)
f7249b 45.19 (-0.01) 45.27 (-0.01) 45.27 (-0.02) 135.74 (-0.01)
306c4f 45.71 (-0.03) 45.78 (-0.03) 46.29 (-0.02) 137.77 (-0.03)
bd5934 47.09 (-0.01) 47.16 (-0.01) 47.15 (-0.01) 141.39 (-0.01)
b1a112 47.39 (-0.01) 47.52 (-0.01) 47.50 (-0.01) 142.41 (-0.01)
99c159 47.70 (+0.00) 47.84 (+0.00) 47.84 (+0.00) 143.39 (+0.00)
ea5a97 47.51 (-0.02) 47.68 (-0.02) 47.68 (-0.02) 142.87 (-0.02)
89275f 48.52 (-0.02) 48.72 (-0.02) 48.71 (-0.02) 145.95 (-0.02)
6d33d8 49.29 (+0.01) 49.47 (+0.01) 49.52 (-0.00) 148.28 (+0.00)
a7f4ee 48.91 (-0.08) 49.11 (-0.08) 49.63 (-0.07) 147.65 (-0.08)
6f28da 53.26 53.51 53.50 160.28

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query24-10]

platform: rds-postgres

revision Q24/1 Q24/2 Q24/3 total_duration
e43cde 44.10 (-0.01) 44.69 (+0.02) 44.17 (+0.00) 132.95 (+0.00)
6b1c4c 44.42 (+0.01) 44.00 (-0.01) 43.99 (+0.00) 132.41 (+0.00)
5d13a2 43.77 (-0.03) 44.41 (-0.02) 43.92 (-0.04) 132.11 (-0.03)
f7249b 45.10 (-0.01) 45.25 (-0.01) 45.77 (-0.00) 136.12 (-0.01)
306c4f 45.61 (-0.03) 45.75 (-0.04) 45.77 (-0.03) 137.13 (-0.03)
bd5934 46.99 (-0.02) 47.65 (+0.00) 47.15 (-0.01) 141.79 (-0.01)
b1a112 47.82 (+0.00) 47.50 (-0.02) 47.47 (-0.01) 142.79 (-0.01)
99c159 47.60 (+0.00) 48.35 (+0.00) 47.83 (+0.00) 143.78 (+0.00)
ea5a97 47.42 (-0.03) 48.17 (-0.01) 47.68 (-0.02) 143.27 (-0.02)
89275f 48.93 (-0.01) 48.71 (-0.01) 48.69 (-0.03) 146.33 (-0.02)
6d33d8 49.18 (+0.01) 49.44 (+0.01) 49.96 (+0.02) 148.59 (+0.01)
a7f4ee 48.80 (-0.09) 49.11 (-0.08) 49.10 (-0.08) 147.01 (-0.08)
6f28da 53.67 53.50 53.48 160.65

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query25-10]

platform: rds-postgres

revision Q25/1 Q25/2 Q25/3 total_duration
e43cde 44.09 (+0.00) 44.17 (+0.00) 44.16 (+0.00) 132.42 (+0.00)
6b1c4c 43.89 (+0.00) 43.98 (+0.00) 43.97 (+0.00) 131.84 (+0.00)
5d13a2 43.76 (-0.03) 43.87 (-0.03) 43.87 (-0.03) 131.51 (-0.03)
f7249b 45.09 (-0.01) 45.26 (-0.01) 45.22 (-0.01) 135.57 (-0.01)
306c4f 45.62 (-0.03) 45.76 (-0.03) 45.72 (-0.03) 137.10 (-0.03)
bd5934 46.96 (-0.01) 47.12 (-0.01) 47.14 (-0.01) 141.22 (-0.01)
b1a112 47.28 (-0.01) 47.48 (-0.01) 47.47 (-0.01) 142.24 (-0.01)
99c159 47.62 (+0.00) 47.81 (+0.00) 47.80 (+0.00) 143.23 (+0.00)
ea5a97 47.39 (-0.02) 47.65 (-0.02) 47.64 (-0.02) 142.69 (-0.02)
89275f 48.39 (-0.02) 48.68 (-0.02) 48.68 (-0.02) 145.76 (-0.02)
6d33d8 49.17 (+0.01) 49.43 (+0.01) 49.43 (-0.00) 148.03 (+0.00)
a7f4ee 48.78 (-0.08) 49.09 (-0.08) 49.61 (-0.07) 147.48 (-0.08)
6f28da 53.14 53.47 53.48 160.10

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query26-10]

platform: rds-postgres

revision Q26/1 Q26/2 Q26/3 total_duration
e43cde 44.11 (+0.00) 44.13 (-0.01) 44.65 (+0.02) 132.89 (+0.00)
6b1c4c 43.89 (+0.00) 44.48 (+0.01) 43.96 (-0.01) 132.33 (+0.00)
5d13a2 43.74 (-0.03) 43.86 (-0.03) 44.36 (-0.04) 131.97 (-0.03)
f7249b 45.07 (-0.02) 45.22 (-0.01) 46.39 (+0.01) 136.68 (-0.01)
306c4f 46.10 (-0.02) 45.72 (-0.04) 45.71 (-0.03) 137.53 (-0.03)
bd5934 46.94 (-0.02) 47.62 (+0.00) 47.10 (-0.01) 141.67 (-0.01)
b1a112 47.78 (+0.00) 47.47 (-0.02) 47.45 (-0.01) 142.70 (-0.01)
99c159 47.57 (+0.00) 48.31 (+0.00) 47.80 (+0.00) 143.68 (+0.00)
ea5a97 47.37 (-0.03) 48.14 (-0.01) 47.63 (-0.02) 143.15 (-0.02)
89275f 48.89 (-0.01) 48.67 (-0.02) 48.66 (-0.03) 146.22 (-0.02)
6d33d8 49.14 (+0.01) 49.42 (+0.01) 49.92 (+0.02) 148.48 (+0.01)
a7f4ee 48.77 (-0.09) 49.07 (-0.08) 49.06 (-0.08) 146.91 (-0.08)
6f28da 53.64 53.46 53.45 160.55

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query27-10]

platform: rds-postgres

revision Q27/1 Q27/2 Q27/3 total_duration
e43cde 44.27 (+0.00) 44.28 (+0.00) 44.32 (+0.01) 132.87 (+0.00)
6b1c4c 44.14 (+0.01) 44.15 (+0.00) 44.07 (+0.00) 132.36 (+0.00)
5d13a2 43.86 (-0.04) 44.02 (-0.06) 43.92 (-0.05) 131.81 (-0.05)
f7249b 45.68 (-0.00) 46.73 (+0.02) 46.35 (+0.01) 138.76 (+0.01)
306c4f 45.74 (-0.03) 45.82 (-0.03) 45.74 (-0.03) 137.30 (-0.03)
bd5934 47.02 (-0.01) 47.14 (-0.01) 47.09 (-0.01) 141.24 (-0.01)
b1a112 47.33 (-0.01) 47.45 (-0.01) 47.43 (-0.01) 142.21 (-0.01)
99c159 47.69 (+0.01) 47.70 (+0.00) 47.77 (+0.00) 143.16 (+0.00)
ea5a97 47.45 (-0.02) 47.59 (-0.02) 47.61 (-0.02) 142.64 (-0.02)
89275f 48.41 (-0.02) 48.65 (-0.02) 48.64 (-0.02) 145.70 (-0.02)
6d33d8 49.19 (+0.01) 49.40 (+0.01) 49.39 (-0.00) 147.98 (+0.00)
a7f4ee 48.77 (-0.08) 49.06 (-0.08) 49.57 (-0.08) 147.40 (-0.08)
6f28da 53.12 53.44 53.95 160.51

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query28-10]

platform: rds-postgres

revision Q28/1 Q28/2 Q28/3 total_duration
e43cde 81.18 (-0.00) 81.73 (-0.01) 82.72 (+0.01) 245.63 (-0.00)
6b1c4c 81.42 (-0.01) 82.35 (+0.00) 81.99 (-0.01) 245.75 (-0.00)
5d13a2 82.14 (+0.01) 82.31 (+0.01) 82.45 (+0.01) 246.90 (+0.01)
f7249b 81.21 (-0.01) 81.61 (+0.00) 81.70 (+0.01) 244.52 (+0.00)
306c4f 81.62 (-0.01) 81.52 (+0.00) 80.68 (-0.01) 243.82 (-0.00)
bd5934 82.39 (-0.01) 81.16 (-0.03) 81.45 (-0.02) 245.00 (-0.02)
b1a112 83.12 (+0.04) 83.81 (+0.03) 82.73 (+0.03) 249.66 (+0.03)
99c159 80.21 (-0.03) 81.07 (-0.03) 80.28 (-0.03) 241.56 (-0.03)
ea5a97 82.60 (-0.00) 83.75 (+0.05) 82.35 (+0.02) 248.70 (+0.02)
89275f 82.74 (-0.01) 80.11 (-0.05) 80.73 (-0.04) 243.59 (-0.03)
6d33d8 83.69 (+0.04) 84.00 (+0.04) 83.71 (+0.04) 251.40 (+0.04)
a7f4ee 80.37 (-0.04) 81.16 (-0.03) 80.21 (-0.04) 241.75 (-0.04)
6f28da 83.62 83.48 83.52 250.62

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query29-10]

platform: rds-postgres

revision Q29/1 Q29/2 Q29/3 total_duration
e43cde 45.11 (+0.01) 45.19 (+0.01) 45.15 (+0.01) 135.45 (+0.01)
6b1c4c 44.58 (+0.01) 44.63 (+0.01) 44.59 (+0.01) 133.80 (+0.01)
5d13a2 44.22 (-0.03) 44.19 (-0.03) 44.20 (-0.03) 132.61 (-0.03)
f7249b 45.52 (-0.01) 45.61 (-0.00) 45.60 (-0.02) 136.73 (-0.01)
306c4f 45.81 (-0.03) 45.76 (-0.03) 46.32 (-0.03) 137.89 (-0.03)
bd5934 47.24 (-0.01) 47.30 (-0.01) 47.80 (-0.01) 142.35 (-0.01)
b1a112 47.59 (-0.00) 47.64 (-0.00) 48.15 (-0.00) 143.38 (-0.00)
99c159 47.75 (+0.01) 47.83 (+0.01) 48.39 (+0.01) 143.97 (+0.01)
ea5a97 47.33 (-0.02) 47.40 (-0.02) 47.98 (-0.02) 142.71 (-0.02)
89275f 48.51 (-0.01) 48.56 (-0.01) 49.07 (-0.00) 146.15 (-0.01)
6d33d8 49.14 (+0.00) 49.25 (+0.01) 49.20 (+0.01) 147.60 (+0.01)
a7f4ee 49.09 (-0.08) 48.72 (-0.09) 48.70 (-0.09) 146.51 (-0.08)
6f28da 53.51 53.27 53.30 160.07

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query30-10]

platform: rds-postgres

revision Q30/1 Q30/2 Q30/3 total_duration
e43cde 45.85 (-0.00) 46.54 (+0.02) 45.75 (+0.01) 138.14 (+0.01)
6b1c4c 45.86 (+0.00) 45.45 (+0.01) 45.46 (+0.01) 136.77 (+0.01)
5d13a2 45.85 (-0.02) 45.13 (-0.03) 44.92 (-0.05) 135.90 (-0.03)
f7249b 46.71 (-0.00) 46.61 (-0.00) 47.08 (+0.00) 140.40 (-0.00)
306c4f 46.88 (-0.04) 46.76 (-0.04) 47.07 (-0.03) 140.71 (-0.04)
bd5934 48.84 (-0.00) 48.55 (-0.01) 48.48 (-0.01) 145.87 (-0.01)
b1a112 48.86 (-0.01) 48.96 (-0.00) 48.89 (-0.00) 146.72 (-0.00)
99c159 49.17 (+0.01) 49.06 (+0.01) 49.06 (+0.01) 147.30 (+0.01)
ea5a97 48.87 (-0.02) 48.72 (-0.03) 48.78 (-0.02) 146.36 (-0.02)
89275f 49.93 (-0.03) 50.01 (-0.01) 50.01 (-0.01) 149.96 (-0.02)
6d33d8 51.27 (+0.02) 50.67 (+0.01) 50.71 (+0.01) 152.65 (+0.02)
a7f4ee 50.07 (-0.09) 50.17 (-0.09) 50.11 (-0.09) 150.35 (-0.09)
6f28da 54.86 54.88 54.82 164.57

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query31-10]

platform: rds-postgres

revision Q31/1 Q31/2 Q31/3 total_duration
e43cde 46.38 (+0.01) 46.60 (+0.01) 46.49 (+0.02) 139.47 (+0.01)
6b1c4c 45.95 (+0.00) 46.07 (+0.01) 45.76 (-0.00) 137.79 (+0.00)
5d13a2 45.75 (-0.03) 45.79 (-0.03) 45.76 (-0.03) 137.31 (-0.03)
f7249b 47.37 (-0.01) 47.34 (-0.00) 47.28 (-0.01) 141.99 (-0.01)
306c4f 47.97 (-0.03) 47.44 (-0.04) 47.99 (-0.04) 143.40 (-0.04)
bd5934 49.49 (-0.01) 49.63 (-0.01) 49.83 (-0.01) 148.94 (-0.01)
b1a112 49.82 (-0.01) 49.90 (-0.00) 50.38 (-0.00) 150.10 (-0.00)
99c159 50.09 (+0.01) 50.13 (+0.01) 50.48 (+0.01) 150.71 (+0.01)
ea5a97 49.70 (-0.02) 49.62 (-0.02) 50.04 (-0.02) 149.36 (-0.02)
89275f 50.91 (-0.02) 50.79 (-0.01) 51.14 (-0.01) 152.84 (-0.01)
6d33d8 51.77 (+0.00) 51.53 (+0.01) 51.61 (+0.00) 154.92 (+0.00)
a7f4ee 51.68 (-0.08) 51.25 (-0.08) 51.36 (-0.07) 154.29 (-0.08)
6f28da 55.98 55.47 55.45 166.91

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query32-10]

platform: rds-postgres

revision Q32/1 Q32/2 Q32/3 total_duration
e43cde 68.01 (+0.01) 67.84 (+0.01) 66.42 (-0.00) 202.28 (+0.00)
6b1c4c 67.66 (+0.02) 66.96 (-0.02) 66.73 (+0.00) 201.35 (+0.00)
5d13a2 66.31 (-0.04) 68.09 (-0.02) 66.48 (-0.02) 200.87 (-0.03)
f7249b 68.80 (+0.00) 69.27 (+0.02) 68.07 (-0.01) 206.15 (+0.00)
306c4f 68.74 (-0.03) 67.87 (-0.04) 68.56 (-0.03) 205.17 (-0.03)
bd5934 70.62 (-0.01) 70.97 (-0.00) 70.45 (-0.00) 212.05 (-0.01)
b1a112 71.57 (+0.01) 71.13 (+0.01) 70.78 (+0.01) 213.49 (+0.01)
99c159 71.15 (+0.01) 70.21 (-0.00) 69.95 (+0.00) 211.31 (+0.00)
ea5a97 70.39 (+0.00) 70.25 (-0.00) 69.80 (-0.01) 210.44 (-0.00)
89275f 70.22 (-0.03) 70.34 (-0.04) 70.28 (-0.02) 210.85 (-0.03)
6d33d8 72.71 (+0.02) 72.92 (+0.02) 71.50 (+0.00) 217.12 (+0.01)
a7f4ee 71.53 (-0.06) 71.74 (-0.07) 71.19 (-0.06) 214.46 (-0.06)
6f28da 75.91 76.96 76.06 228.93

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query33-10]

platform: rds-postgres

revision Q33/1 Q33/2 Q33/3 total_duration
e43cde 132.52 (+0.01) 135.17 (+0.01) 133.12 (+0.01) 400.82 (+0.01)
6b1c4c 131.62 (-0.00) 133.62 (+0.00) 131.87 (-0.00) 397.11 (-0.00)
5d13a2 131.78 (+0.01) 133.59 (+0.01) 131.98 (+0.01) 397.35 (+0.01)
f7249b 131.02 (-0.01) 131.75 (+0.00) 131.28 (-0.00) 394.05 (-0.00)
306c4f 132.95 (-0.01) 131.45 (-0.01) 131.30 (-0.01) 395.70 (-0.01)
bd5934 133.64 (-0.02) 133.13 (-0.02) 133.10 (-0.03) 399.88 (-0.02)
b1a112 136.91 (+0.02) 135.56 (+0.02) 137.54 (+0.03) 410.02 (+0.02)
99c159 134.19 (-0.02) 133.12 (-0.02) 133.94 (-0.01) 401.25 (-0.01)
ea5a97 136.59 (+0.01) 135.43 (+0.01) 135.02 (+0.00) 407.04 (+0.01)
89275f 134.71 (-0.02) 133.72 (-0.03) 134.75 (-0.03) 403.19 (-0.03)
6d33d8 137.57 (+0.02) 137.52 (+0.03) 138.87 (+0.02) 413.96 (+0.02)
a7f4ee 134.39 (-0.04) 134.16 (-0.06) 135.94 (-0.04) 404.50 (-0.05)
6f28da 140.58 142.83 141.75 425.16

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query34-10]

platform: rds-postgres

revision Q34/1 Q34/2 Q34/3 total_duration
e43cde 125.00 (-0.00) 124.90 (+0.00) 124.64 (+0.00) 374.54 (+0.00)
6b1c4c 125.32 (-0.00) 124.44 (-0.01) 124.40 (-0.00) 374.16 (-0.00)
5d13a2 125.35 (+0.01) 125.39 (+0.01) 124.70 (+0.01) 375.43 (+0.01)
f7249b 124.22 (+0.01) 123.54 (-0.00) 123.60 (-0.01) 371.36 (-0.00)
306c4f 123.46 (-0.02) 123.81 (-0.01) 124.28 (-0.02) 371.55 (-0.01)
bd5934 125.41 (-0.03) 125.29 (-0.03) 126.23 (-0.02) 376.94 (-0.03)
b1a112 129.20 (+0.02) 129.36 (+0.02) 128.40 (+0.00) 386.97 (+0.02)
99c159 126.33 (-0.01) 126.35 (-0.01) 127.78 (-0.01) 380.46 (-0.01)
ea5a97 127.94 (+0.01) 127.77 (-0.00) 128.64 (+0.01) 384.35 (+0.01)
89275f 127.18 (-0.02) 127.99 (-0.02) 127.01 (-0.03) 382.18 (-0.02)
6d33d8 130.43 (+0.01) 130.08 (+0.01) 130.81 (+0.02) 391.33 (+0.02)
a7f4ee 128.65 (-0.04) 128.51 (-0.05) 127.97 (-0.05) 385.14 (-0.05)
6f28da 134.58 135.49 134.60 404.68

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query35-10]

platform: rds-postgres

revision Q35/1 Q35/2 Q35/3 total_duration
e43cde 48.73 (+0.02) 48.13 (+0.01) 47.96 (+0.01) 144.82 (+0.02)
6b1c4c 47.76 (-0.01) 47.53 (-0.02) 47.31 (-0.02) 142.61 (-0.02)
5d13a2 48.30 (-0.05) 48.41 (-0.04) 48.31 (-0.04) 145.02 (-0.04)
f7249b 50.79 (+0.02) 50.37 (+0.01) 50.09 (+0.01) 151.26 (+0.02)
306c4f 49.66 (-0.04) 49.64 (-0.04) 49.42 (-0.04) 148.72 (-0.04)
bd5934 51.65 (-0.02) 51.55 (-0.01) 51.56 (-0.03) 154.75 (-0.02)
b1a112 52.46 (+0.01) 52.19 (-0.01) 52.94 (+0.01) 157.59 (+0.00)
99c159 52.16 (-0.00) 52.83 (+0.02) 52.39 (+0.01) 157.37 (+0.01)
ea5a97 52.40 (-0.01) 51.87 (-0.03) 51.99 (-0.03) 156.25 (-0.03)
89275f 53.18 (-0.02) 53.38 (-0.02) 53.81 (-0.01) 160.37 (-0.02)
6d33d8 54.20 (+0.00) 54.30 (-0.00) 54.46 (+0.01) 162.96 (+0.00)
a7f4ee 53.99 (-0.08) 54.45 (-0.08) 53.91 (-0.08) 162.35 (-0.08)
6f28da 58.88 59.12 58.72 176.73

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query36-10]

platform: rds-postgres

revision Q36/1 Q36/2 Q36/3 total_duration
e43cde 8.48 (+0.00) 8.56 (+0.01) 8.41 (-0.00) 25.46 (+0.00)
6b1c4c 8.44 (+0.00) 8.49 (+0.01) 8.43 (-0.01) 25.36 (+0.00)
5d13a2 8.40 (+0.02) 8.40 (-0.01) 8.48 (+0.04) 25.29 (+0.02)
f7249b 8.22 (+0.01) 8.46 (+0.04) 8.12 (-0.00) 24.80 (+0.02)
306c4f 8.14 (+0.01) 8.14 (-0.03) 8.13 (+0.00) 24.42 (-0.00)
bd5934 8.04 (-0.07) 8.36 (-0.02) 8.11 (-0.03) 24.51 (-0.04)
b1a112 8.61 (+0.07) 8.51 (+0.03) 8.34 (+0.04) 25.46 (+0.05)
99c159 8.03 (-0.02) 8.27 (-0.03) 8.06 (-0.06) 24.36 (-0.04)
ea5a97 8.20 (-0.02) 8.49 (+0.04) 8.61 (+0.02) 25.30 (+0.01)
89275f 8.37 (+0.00) 8.17 (-0.04) 8.43 (-0.01) 24.96 (-0.01)
6d33d8 8.34 (+0.01) 8.52 (+0.06) 8.48 (+0.02) 25.34 (+0.03)
a7f4ee 8.25 (-0.11) 8.06 (-0.05) 8.33 (+0.01) 24.65 (-0.05)
6f28da 9.29 8.44 8.28 26.02

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query37-10]

platform: rds-postgres

revision Q37/1 Q37/2 Q37/3 total_duration
e43cde 2.32 (-0.00) 2.48 (+0.10) 2.32 (+0.00) 7.12 (+0.03)
6b1c4c 2.32 (+0.04) 2.25 (-0.07) 2.31 (-0.01) 6.89 (-0.01)
5d13a2 2.22 (-0.01) 2.41 (+0.03) 2.35 (+0.01) 6.98 (+0.01)
f7249b 2.23 (+0.02) 2.35 (+0.09) 2.33 (-0.17) 6.92 (-0.03)
306c4f 2.20 (+0.01) 2.16 (-0.03) 2.81 (+0.22) 7.17 (+0.07)
bd5934 2.17 (-0.07) 2.23 (-0.04) 2.30 (-0.04) 6.69 (-0.05)
b1a112 2.32 (+0.03) 2.32 (+0.07) 2.39 (+0.02) 7.03 (+0.04)
99c159 2.26 (+0.02) 2.16 (-0.07) 2.35 (-0.05) 6.77 (-0.03)
ea5a97 2.21 (+0.02) 2.32 (+0.02) 2.47 (+0.10) 7.00 (+0.04)
89275f 2.16 (-0.04) 2.28 (+0.01) 2.25 (-0.13) 6.70 (-0.05)
6d33d8 2.25 (+0.04) 2.25 (-0.03) 2.59 (+0.15) 7.09 (+0.05)
a7f4ee 2.16 (-0.05) 2.33 (+0.02) 2.24 (-0.05) 6.73 (-0.03)
6f28da 2.28 2.29 2.36 6.92

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query38-10]

platform: rds-postgres

revision Q38/1 Q38/2 Q38/3 total_duration
e43cde 1.16 (-0.03) 1.16 (-0.08) 1.25 (-0.00) 3.58 (-0.03)
6b1c4c 1.19 (-0.00) 1.26 (+0.07) 1.25 (+0.00) 3.70 (+0.02)
5d13a2 1.19 (+0.04) 1.17 (+0.02) 1.25 (+0.02) 3.61 (+0.02)
f7249b 1.15 (+0.00) 1.15 (-0.00) 1.23 (+0.06) 3.53 (+0.02)
306c4f 1.15 (-0.00) 1.15 (-0.06) 1.16 (-0.06) 3.46 (-0.04)
bd5934 1.15 (-0.02) 1.22 (+0.05) 1.23 (-0.06) 3.61 (-0.01)
b1a112 1.17 (+0.02) 1.16 (-0.05) 1.31 (+0.02) 3.65 (-0.00)
99c159 1.15 (-0.03) 1.22 (-0.01) 1.29 (+0.04) 3.66 (-0.00)
ea5a97 1.18 (-0.02) 1.24 (+0.08) 1.24 (+0.08) 3.66 (+0.04)
89275f 1.21 (+0.02) 1.15 (-0.03) 1.15 (-0.08) 3.52 (-0.03)
6d33d8 1.19 (+0.03) 1.18 (-0.01) 1.25 (-0.02) 3.62 (-0.00)
a7f4ee 1.15 (-0.02) 1.19 (-0.05) 1.28 (+0.10) 3.63 (+0.01)
6f28da 1.17 1.26 1.17 3.59

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query39-10]

platform: rds-postgres

revision Q39/1 Q39/2 Q39/3 total_duration
e43cde 11.04 (+0.03) 10.76 (-0.01) 10.91 (-0.02) 32.72 (+0.00)
6b1c4c 10.74 (-0.00) 10.85 (+0.00) 11.08 (+0.02) 32.67 (+0.01)
5d13a2 10.76 (+0.02) 10.80 (+0.05) 10.83 (+0.03) 32.39 (+0.03)
f7249b 10.54 (-0.01) 10.29 (-0.05) 10.47 (-0.01) 31.31 (-0.02)
306c4f 10.61 (-0.03) 10.87 (+0.01) 10.58 (-0.02) 32.07 (-0.01)
bd5934 10.95 (-0.02) 10.74 (-0.04) 10.81 (+0.00) 32.50 (-0.02)
b1a112 11.15 (+0.05) 11.19 (+0.01) 10.77 (+0.03) 33.11 (+0.03)
99c159 10.67 (-0.01) 11.06 (+0.02) 10.50 (-0.02) 32.23 (-0.00)
ea5a97 10.81 (+0.03) 10.83 (+0.00) 10.71 (+0.00) 32.35 (+0.01)
89275f 10.48 (-0.06) 10.78 (-0.01) 10.67 (-0.03) 31.93 (-0.03)
6d33d8 11.12 (+0.05) 10.93 (+0.04) 10.97 (+0.04) 33.03 (+0.04)
a7f4ee 10.62 (-0.05) 10.49 (-0.03) 10.59 (-0.02) 31.70 (-0.04)
6f28da 11.21 10.81 10.86 32.88

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query40-10]

platform: rds-postgres

revision Q40/1 Q40/2 Q40/3 total_duration
e43cde 1.13 (-0.04) 1.12 (-0.01) 1.13 (-0.01) 3.39 (-0.02)
6b1c4c 1.18 (+0.04) 1.13 (-0.01) 1.14 (-0.05) 3.45 (-0.01)
5d13a2 1.13 (-0.05) 1.14 (+0.02) 1.20 (-0.07) 3.47 (-0.04)
f7249b 1.19 (+0.01) 1.12 (+0.00) 1.29 (+0.16) 3.60 (+0.06)
306c4f 1.18 (+0.05) 1.12 (-0.00) 1.11 (-0.01) 3.41 (+0.01)
bd5934 1.12 (-0.05) 1.12 (-0.01) 1.12 (-0.02) 3.36 (-0.03)
b1a112 1.18 (+0.05) 1.13 (+0.01) 1.14 (+0.01) 3.45 (+0.02)
99c159 1.13 (+0.00) 1.12 (-0.01) 1.12 (-0.05) 3.38 (-0.02)
ea5a97 1.13 (+0.01) 1.13 (+0.01) 1.17 (+0.05) 3.43 (+0.02)
89275f 1.12 (-0.01) 1.12 (-0.01) 1.12 (-0.02) 3.35 (-0.02)
6d33d8 1.13 (+0.01) 1.14 (+0.02) 1.14 (+0.02) 3.41 (+0.02)
a7f4ee 1.12 (-0.01) 1.12 (-0.00) 1.11 (-0.01) 3.35 (-0.01)
6f28da 1.13 1.12 1.12 3.38

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query41-10]

platform: rds-postgres

revision Q41/1 Q41/2 Q41/3 total_duration
e43cde 1.11 (-0.07) 1.19 (-0.01) 1.19 (+0.06) 3.50 (-0.01)
6b1c4c 1.19 (+0.06) 1.20 (+0.00) 1.13 (-0.05) 3.52 (+0.00)
5d13a2 1.13 (-0.04) 1.20 (+0.10) 1.19 (+0.08) 3.51 (+0.04)
f7249b 1.17 (-0.01) 1.10 (-0.11) 1.10 (-0.03) 3.37 (-0.05)
306c4f 1.18 (-0.03) 1.24 (+0.12) 1.14 (+0.03) 3.56 (+0.03)
bd5934 1.22 (+0.02) 1.11 (-0.08) 1.11 (-0.00) 3.44 (-0.02)
b1a112 1.19 (+0.08) 1.20 (-0.03) 1.11 (+0.00) 3.51 (+0.02)
99c159 1.11 (-0.07) 1.23 (+0.04) 1.10 (-0.01) 3.44 (-0.01)
ea5a97 1.19 (+0.08) 1.19 (+0.01) 1.11 (-0.06) 3.49 (+0.01)
89275f 1.10 (-0.13) 1.18 (-0.00) 1.18 (+0.05) 3.46 (-0.03)
6d33d8 1.27 (+0.07) 1.18 (+0.07) 1.12 (+0.02) 3.57 (+0.06)
a7f4ee 1.18 (-0.00) 1.10 (-0.07) 1.10 (-0.01) 3.38 (-0.03)
6f28da 1.18 1.18 1.11 3.47

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query42-10]

platform: rds-postgres

revision Q42/1 Q42/2 Q42/3 total_duration
e43cde 1.17 (-0.00) 1.25 (-0.01) 1.17 (-0.07) 3.58 (-0.03)
6b1c4c 1.17 (-0.00) 1.26 (-0.01) 1.25 (+0.07) 3.69 (+0.02)
5d13a2 1.17 (-0.02) 1.28 (+0.03) 1.17 (+0.02) 3.62 (+0.01)
f7249b 1.20 (+0.04) 1.24 (-0.04) 1.15 (-0.07) 3.59 (-0.03)
306c4f 1.16 (-0.00) 1.30 (+0.04) 1.24 (+0.07) 3.69 (+0.03)
bd5934 1.16 (-0.01) 1.25 (-0.04) 1.16 (-0.07) 3.58 (-0.04)
b1a112 1.17 (-0.00) 1.30 (+0.00) 1.25 (+0.01) 3.72 (+0.00)
99c159 1.17 (-0.04) 1.30 (+0.05) 1.24 (-0.00) 3.71 (-0.00)
ea5a97 1.22 (+0.05) 1.24 (+0.07) 1.25 (+0.08) 3.71 (+0.07)
89275f 1.16 (-0.01) 1.16 (-0.09) 1.15 (-0.02) 3.47 (-0.04)
6d33d8 1.18 (-0.03) 1.27 (+0.03) 1.18 (+0.02) 3.63 (+0.00)
a7f4ee 1.22 (+0.06) 1.24 (+0.07) 1.16 (-0.08) 3.61 (+0.01)
6f28da 1.16 1.16 1.26 3.58

Runs for test_runner/performance/test_perf_olap.py::test_tpch[query1-10]

platform: rds-postgres

revision Q1/1 total_duration
e43cde 549.07 (-0.04) 549.07 (-0.04)
6b1c4c 569.43 (-0.01) 569.43 (-0.01)
5d13a2 576.63 (+0.01) 576.63 (+0.01)
f7249b 573.56 (+0.09) 573.56 (+0.09)
306c4f 525.35 (-0.05) 525.35 (-0.05)
bd5934 553.72 (-0.05) 553.72 (-0.05)
b1a112 581.30 (-0.02) 581.30 (-0.02)
99c159 591.58 (-0.14) 591.58 (-0.14)
ea5a97 690.39 (+0.02) 690.39 (+0.02)
89275f 675.87 (+0.07) 675.88 (+0.07)
6d33d8 630.95 (+0.02) 630.97 (+0.02)
a7f4ee 616.52 (+0.02) 616.52 (+0.02)
6f28da 607.15 607.15

Runs for test_runner/performance/test_perf_olap.py::test_tpch[query2-10]

platform: rds-postgres

revision Q2/1 total_duration
e43cde 386.63 (+0.12) 386.63 (+0.12)
6b1c4c 344.81 (-0.01) 344.82 (-0.01)
5d13a2 347.57 (-0.00) 347.57 (-0.00)
f7249b 348.54 (-0.09) 348.54 (-0.09)
306c4f 384.34 (+0.07) 384.34 (+0.07)
bd5934 358.93 (-0.01) 358.93 (-0.01)
b1a112 362.44 (-0.12) 362.44 (-0.12)
99c159 410.81 (-0.00) 410.81 (-0.00)
ea5a97 411.71 (-0.01) 411.71 (-0.01)
89275f 415.43 (+0.13) 415.43 (+0.13)
6d33d8 367.80 (+0.06) 367.80 (+0.06)
a7f4ee 345.44 (-0.08) 345.44 (-0.08)
6f28da 377.40 377.40

Runs for test_runner/performance/test_perf_olap.py::test_tpch[query3-10]

platform: rds-postgres

revision Q3/1 total_duration
e43cde 438.24 (+0.12) 438.24 (+0.12)
6b1c4c 392.15 (+0.10) 392.15 (+0.10)
5d13a2 356.29 (+0.19) 356.29 (+0.19)
f7249b 299.26 (-0.25) 299.26 (-0.25)
306c4f 400.53 (+0.09) 400.54 (+0.09)
bd5934 367.00 (-0.02) 367.00 (-0.02)
b1a112 372.78 (+0.21) 372.78 (+0.21)
99c159 307.24 (-0.23) 307.25 (-0.23)
ea5a97 396.86 (-0.16) 396.86 (-0.16)
89275f 472.61 (+0.16) 472.61 (+0.16)
6d33d8 408.33 (-0.04) 408.33 (-0.04)
a7f4ee 424.01 (+0.05) 424.01 (+0.05)
6f28da 403.82 403.82

Runs for test_runner/performance/test_perf_olap.py::test_tpch[query4-10]

platform: rds-postgres

revision Q4/1 total_duration
e43cde 625.80 (+0.24) 625.80 (+0.24)
6b1c4c 504.28 (-0.02) 504.28 (-0.02)
5d13a2 512.25 (-0.12) 512.25 (-0.12)
f7249b 582.30 (+0.15) 582.30 (+0.15)
306c4f 508.22 (-0.07) 508.22 (-0.07)
bd5934 546.41 (+0.04) 546.41 (+0.04)
b1a112 526.39 (-0.35) 526.39 (-0.35)
99c159 807.49 (+0.13) 807.49 (+0.13)
ea5a97 715.81 (+0.20) 715.81 (+0.20)
89275f 596.90 (+0.07) 596.90 (+0.07)
6d33d8 558.80 (+0.09) 558.80 (+0.09)
a7f4ee 513.58 (+0.00) 513.58 (+0.00)
6f28da 511.49 511.49

Runs for test_runner/performance/test_perf_olap.py::test_tpch[query5-10]

platform: rds-postgres

revision Q5/1 total_duration
e43cde 606.21 (+0.64) 606.21 (+0.64)
6b1c4c 370.62 (-0.17) 370.62 (-0.17)
5d13a2 447.78 (+0.28) 447.78 (+0.28)
f7249b 350.55 (+0.08) 350.55 (+0.08)
306c4f 325.54 (-0.29) 325.54 (-0.29)
bd5934 461.33 (-0.09) 461.33 (-0.09)
b1a112 504.67 (-0.02) 504.67 (-0.02)
99c159 514.19 (+0.32) 514.19 (+0.32)
ea5a97 389.80 (-0.28) 389.80 (-0.28)
89275f 542.30 (+0.45) 542.30 (+0.45)
6d33d8 374.84 (-0.15) 374.84 (-0.15)
a7f4ee 443.24 (+0.26) 443.24 (+0.26)
6f28da 351.47 351.47

Runs for test_runner/performance/test_perf_olap.py::test_tpch[query6-10]

platform: rds-postgres

revision Q6/1 total_duration
e43cde 297.72 (+0.16) 297.72 (+0.16)
6b1c4c 256.29 (-0.09) 256.29 (-0.09)
5d13a2 281.69 (+0.23) 281.69 (+0.23)
f7249b 228.63 (+0.07) 228.63 (+0.07)
306c4f 213.89 (-0.13) 213.89 (-0.13)
bd5934 246.53 (+0.01) 246.54 (+0.01)
b1a112 243.42 (-0.23) 243.42 (-0.23)
99c159 316.43 (+0.08) 316.43 (+0.08)
ea5a97 294.02 (-0.04) 294.02 (-0.04)
89275f 306.80 (+0.09) 306.80 (+0.09)
6d33d8 280.82 (+0.04) 280.82 (+0.04)
a7f4ee 268.81 (+0.13) 268.81 (+0.13)
6f28da 238.01 238.01

Runs for test_runner/performance/test_perf_olap.py::test_tpch[query7-10]

platform: rds-postgres

revision Q7/1 total_duration
e43cde 327.90 (+0.07) 327.90 (+0.07)
6b1c4c 306.51 (+0.11) 306.51 (+0.11)
5d13a2 275.22 (-0.39) 275.22 (-0.39)
f7249b 452.81 (+0.34) 452.81 (+0.34)
306c4f 338.23 (-0.08) 338.23 (-0.08)
bd5934 366.61 (+0.28) 366.61 (+0.28)
b1a112 285.90 (-0.19) 285.90 (-0.19)
99c159 352.52 (-0.26) 352.52 (-0.26)
ea5a97 473.53 (+0.28) 473.53 (+0.28)
89275f 369.59 (-0.08) 369.59 (-0.08)
6d33d8 399.74 (+0.21) 399.74 (+0.21)
a7f4ee 329.82 (-0.14) 329.82 (-0.14)
6f28da 382.14 382.14

Runs for test_runner/performance/test_perf_olap.py::test_tpch[query8-10]

platform: rds-postgres

revision Q8/1 total_duration
e43cde 318.28 (+0.24) 318.28 (+0.24)
6b1c4c 256.05 (-0.09) 256.05 (-0.09)
5d13a2 281.03 (+0.12) 281.03 (+0.12)
f7249b 251.51 (-0.21) 251.52 (-0.21)
306c4f 318.91 (+0.10) 318.91 (+0.10)
bd5934 288.70 (-0.01) 288.70 (-0.01)
b1a112 291.24 (-0.12) 291.24 (-0.12)
99c159 331.96 (-0.07) 331.97 (-0.07)
ea5a97 355.38 (+0.06) 355.38 (+0.06)
89275f 335.19 (+0.22) 335.19 (+0.22)
6d33d8 274.22 (-0.06) 274.22 (-0.06)
a7f4ee 293.20 (-0.03) 293.20 (-0.03)
6f28da 303.00 303.00

Runs for test_runner/performance/test_perf_olap.py::test_tpch[query9-10]

platform: rds-postgres

revision Q9/1 total_duration
e43cde 2819.03 (+0.06) 2819.03 (+0.06)
6b1c4c 2657.59 (+0.06) 2657.59 (+0.06)
5d13a2 2517.81 (-0.00) 2517.81 (-0.00)
f7249b 2521.60 (+0.06) 2521.60 (+0.06)
306c4f 2388.92 (-0.08) 2388.92 (-0.08)
bd5934 2582.76 (-0.00) 2582.77 (-0.00)
b1a112 2588.90 (-0.10) 2588.90 (-0.10)
99c159 2866.30 (-0.01) 2866.30 (-0.01)
ea5a97 2886.80 (-0.03) 2886.80 (-0.03)
89275f 2971.86 (+0.15) 2971.86 (+0.15)
6d33d8 2583.45 (+0.02) 2583.45 (+0.02)
a7f4ee 2532.72 (-0.02) 2532.72 (-0.02)
6f28da 2592.05 2592.05

Runs for test_runner/performance/test_perf_olap.py::test_tpch[query10-10]

platform: rds-postgres

revision Q10/1 total_duration
e43cde 429.00 (+0.08) 429.00 (+0.08)
6b1c4c 398.80 (+0.15) 398.80 (+0.15)
5d13a2 347.30 (-0.15) 347.30 (-0.15)
f7249b 410.97 (-0.04) 410.97 (-0.04)
306c4f 426.80 (-0.05) 426.80 (-0.05)
bd5934 451.51 (+0.18) 451.51 (+0.18)
b1a112 382.29 (-0.07) 382.29 (-0.07)
99c159 411.62 (-0.12) 411.63 (-0.12)
ea5a97 468.80 (+0.07) 468.80 (+0.07)
89275f 437.19 (+0.04) 437.19 (+0.04)
6d33d8 419.81 (+0.09) 419.81 (+0.09)
a7f4ee 384.40 (-0.08) 384.40 (-0.08)
6f28da 415.90 415.90

Runs for test_runner/performance/test_perf_olap.py::test_tpch[query11-10]

platform: rds-postgres

revision Q11/1 total_duration
e43cde 212.68 (+0.16) 212.68 (+0.16)
6b1c4c 182.60 (-0.02) 182.60 (-0.02)
5d13a2 186.42 (-0.02) 186.42 (-0.02)
f7249b 190.14 (+0.01) 190.14 (+0.01)
306c4f 188.27 (-0.74) 188.27 (-0.74)
bd5934 736.02 (+2.82) 736.02 (+2.82)
b1a112 192.83 (-0.10) 192.83 (-0.10)
99c159 214.93 (-0.06) 214.93 (-0.06)
ea5a97 228.02 (+0.00) 228.02 (+0.00)
89275f 227.00 (+0.13) 227.00 (+0.13)
6d33d8 200.23 (+0.01) 200.23 (+0.01)
a7f4ee 197.33 (+0.01) 197.33 (+0.01)
6f28da 195.12 195.13

Runs for test_runner/performance/test_perf_olap.py::test_tpch[query12-10]

platform: rds-postgres

revision Q12/1 total_duration
e43cde 467.87 (+0.72) 467.87 (+0.72)
6b1c4c 272.34 (-0.13) 272.34 (-0.13)
5d13a2 313.87 (-0.29) 313.87 (-0.29)
f7249b 440.18 (-0.07) 440.18 (-0.07)
306c4f 472.93 (+0.21) 472.93 (+0.21)
bd5934 389.52 (+0.43) 389.52 (+0.43)
b1a112 271.62 (-0.39) 271.62 (-0.39)
99c159 447.11 (-0.20) 447.12 (-0.20)
ea5a97 558.24 (+0.65) 558.24 (+0.65)
89275f 339.35 (-0.15) 339.35 (-0.15)
6d33d8 399.98 (+0.53) 399.98 (+0.53)
a7f4ee 260.82 (-0.54) 260.82 (-0.54)
6f28da 565.23 565.24

Runs for test_runner/performance/test_perf_olap.py::test_tpch[query13-10]

platform: rds-postgres

revision Q13/1 total_duration
e43cde 211.79 (+0.85) 211.79 (+0.85)
6b1c4c 114.72 (-0.15) 114.72 (-0.15)
5d13a2 135.28 (-0.10) 135.28 (-0.10)
f7249b 151.14 (-0.13) 151.14 (-0.13)
306c4f 173.21 (-0.00) 173.21 (-0.00)
bd5934 173.94 (+0.03) 173.94 (+0.03)
b1a112 168.92 (-0.09) 168.92 (-0.09)
99c159 185.51 (-0.18) 185.51 (-0.18)
ea5a97 227.40 (+0.29) 227.40 (+0.29)
89275f 176.47 (+0.06) 176.47 (+0.06)
6d33d8 167.19 (+0.35) 167.20 (+0.35)
a7f4ee 123.46 (-0.33) 123.46 (-0.33)
6f28da 183.89 183.89

Runs for test_runner/performance/test_perf_olap.py::test_tpch[query14-10]

platform: rds-postgres

revision Q14/1 total_duration
e43cde 316.83 (+0.50) 316.83 (+0.50)
6b1c4c 211.41 (-0.04) 211.42 (-0.04)
5d13a2 219.70 (-0.16) 219.70 (-0.16)
f7249b 262.12 (-0.09) 262.12 (-0.09)
306c4f 289.12 (+0.00) 289.12 (+0.00)
bd5934 288.39 (+0.58) 288.39 (+0.58)
b1a112 182.29 (-0.41) 182.29 (-0.41)
99c159 308.42 (-0.05) 308.42 (-0.05)
ea5a97 325.75 (+0.58) 325.75 (+0.58)
89275f 205.82 (-0.24) 205.82 (-0.24)
6d33d8 271.43 (+0.27) 271.43 (+0.27)
a7f4ee 214.17 (-0.14) 214.17 (-0.14)
6f28da 249.02 249.02

Runs for test_runner/performance/test_perf_olap.py::test_tpch[query15-10]

platform: rds-postgres

revision Q15/1 total_duration
e43cde 591.73 (+0.23) 591.73 (+0.23)
6b1c4c 480.01 (+0.16) 480.01 (+0.16)
5d13a2 413.25 (-0.19) 413.25 (-0.19)
f7249b 510.53 (+0.16) 510.53 (+0.16)
306c4f 439.92 (+0.11) 439.92 (+0.11)
bd5934 395.21 (-0.23) 395.21 (-0.23)
b1a112 514.30 (-0.16) 514.30 (-0.16)
99c159 615.34 (+0.10) 615.34 (+0.10)
ea5a97 558.20 (-0.06) 558.21 (-0.06)
89275f 592.33 (+1.04) 592.33 (+1.04)
6d33d8 290.02 (-0.43) 290.02 (-0.43)
a7f4ee 508.23 (+0.17) 508.23 (+0.17)
6f28da 435.54 435.54

Runs for test_runner/performance/test_perf_olap.py::test_tpch[query16-10]

platform: rds-postgres

revision Q16/1 total_duration
e43cde 38.86 (-0.47) 38.86 (-0.47)
6b1c4c 73.98 (-0.05) 73.98 (-0.05)
5d13a2 78.05 (+1.36) 78.05 (+1.36)
f7249b 33.11 (-0.04) 33.11 (-0.04)
306c4f 34.34 (-0.01) 34.34 (-0.01)
bd5934 34.67 (-0.51) 34.68 (-0.51)
b1a112 70.98 (+0.78) 70.98 (+0.78)
99c159 39.93 (-0.04) 39.93 (-0.04)
ea5a97 41.77 (-0.57) 41.77 (-0.57)
89275f 97.54 (+0.19) 97.54 (+0.19)
6d33d8 82.07 (+0.11) 82.07 (+0.10)
a7f4ee 74.27 (+1.15) 74.27 (+1.15)
6f28da 34.54 34.54

Runs for test_runner/performance/test_perf_olap.py::test_tpch[query17-10]

platform: rds-postgres

revision Q17/1 total_duration
e43cde 1054.10 (+0.16) 1054.10 (+0.16)
6b1c4c 907.20 (-0.01) 907.20 (-0.01)
5d13a2 914.01 (-0.03) 914.01 (-0.03)
f7249b 937.60 (+0.02) 937.60 (+0.02)
306c4f 919.52 (-0.07) 919.52 (-0.07)
bd5934 989.98 (+0.01) 989.98 (+0.01)
b1a112 978.50 (-0.13) 978.50 (-0.13)
99c159 1128.02 (-0.03) 1128.02 (-0.03)
ea5a97 1163.50 (+0.04) 1163.50 (+0.04)
89275f 1120.21 (+0.13) 1120.21 (+0.13)
6d33d8 992.91 (-0.01) 992.91 (-0.01)
a7f4ee 1006.41 (+0.00) 1006.42 (+0.00)
6f28da 1003.37 1003.37

Runs for test_runner/performance/test_perf_olap.py::test_tpch[query18-10]

platform: rds-postgres

revision Q18/1 total_duration
e43cde 1384.64 (+0.34) 1384.64 (+0.34)
6b1c4c 1035.09 (-0.29) 1035.10 (-0.29)
5d13a2 1456.19 (+0.84) 1456.19 (+0.84)
f7249b 790.90 (-0.23) 790.90 (-0.23)
306c4f 1022.80 (-0.17) 1022.80 (-0.17)
bd5934 1234.41 (-0.19) 1234.41 (-0.19)
b1a112 1520.61 (+0.28) 1520.61 (+0.28)
99c159 1189.93 (-0.22) 1189.93 (-0.22)
ea5a97 1529.89 (+0.00) 1529.89 (+0.00)
89275f 1529.62 (+0.03) 1529.62 (+0.03)
6d33d8 1483.95 (+0.01) 1483.95 (+0.01)
a7f4ee 1474.00 (+0.21) 1474.00 (+0.21)
6f28da 1223.19 1223.19

Runs for test_runner/performance/test_perf_olap.py::test_tpch[query19-10]

platform: rds-postgres

revision Q19/1 total_duration
e43cde 86.03 (-0.27) 86.03 (-0.27)
6b1c4c 117.09 (-0.06) 117.09 (-0.06)
5d13a2 124.92 (+0.33) 124.92 (+0.33)
f7249b 93.79 (+0.27) 93.79 (+0.27)
306c4f 73.82 (+0.09) 73.82 (+0.09)
bd5934 67.70 (-0.45) 67.70 (-0.45)
b1a112 123.80 (-0.03) 123.81 (-0.03)
99c159 127.06 (+0.11) 127.06 (+0.11)
ea5a97 114.13 (+0.32) 114.13 (+0.32)
89275f 86.17 (-0.37) 86.17 (-0.37)
6d33d8 136.69 (-0.02) 136.69 (-0.02)
a7f4ee 140.08 (+0.27) 140.08 (+0.27)
6f28da 110.65 110.65

Runs for test_runner/performance/test_perf_olap.py::test_tpch[query20-10]

platform: rds-postgres

revision Q20/1 total_duration
e43cde 3338.82 (+0.10) 3338.82 (+0.10)
6b1c4c 3031.87 (-0.03) 3031.87 (-0.03)
5d13a2 3113.34 (-0.00) 3113.34 (-0.00)
f7249b 3124.66 (+0.02) 3124.66 (+0.02)
306c4f 3072.90 (-0.09) 3072.90 (-0.09)
bd5934 3380.37 (+0.01) 3380.37 (+0.01)
b1a112 3360.64 (-0.06) 3360.64 (-0.06)
99c159 3583.05 (+0.00) 3583.05 (+0.00)
ea5a97 3581.52 (+0.00) 3581.52 (+0.00)
89275f 3571.44 (+0.08) 3571.44 (+0.08)
6d33d8 3299.70 (+0.01) 3299.70 (+0.01)
a7f4ee 3278.52 (-0.00) 3278.52 (-0.00)
6f28da 3287.23 3287.23

Runs for test_runner/performance/test_perf_olap.py::test_tpch[query21-10]

platform: rds-postgres

revision Q21/1 total_duration
e43cde 1197.06 (+0.12) 1197.06 (+0.12)
6b1c4c 1064.18 (+0.01) 1064.18 (+0.01)
5d13a2 1051.98 (-0.02) 1051.98 (-0.02)
f7249b 1072.12 (+0.03) 1072.13 (+0.03)
306c4f 1040.45 (-0.24) 1040.46 (-0.24)
bd5934 1365.52 (+0.22) 1365.52 (+0.22)
b1a112 1116.53 (-0.10) 1116.53 (-0.10)
99c159 1238.03 (-0.02) 1238.03 (-0.02)
ea5a97 1262.21 (-0.05) 1262.21 (-0.05)
89275f 1328.62 (+0.16) 1328.62 (+0.16)
6d33d8 1146.27 (+0.02) 1146.27 (+0.02)
a7f4ee 1118.62 (+0.00) 1118.62 (+0.00)
6f28da 1117.51 1117.52

Runs for test_runner/performance/test_perf_olap.py::test_tpch[query22-10]

platform: rds-postgres

revision Q22/1 total_duration
e43cde 38.40 (+0.02) 38.40 (+0.02)
6b1c4c 37.81 (+0.04) 37.81 (+0.04)
5d13a2 36.28 (+0.01) 36.28 (+0.01)
f7249b 35.81 (-0.05) 35.81 (-0.05)
306c4f 37.63 (-0.11) 37.63 (-0.11)
bd5934 42.30 (+0.02) 42.30 (+0.02)
b1a112 41.50 (-0.01) 41.50 (-0.01)
99c159 41.92 (+0.08) 41.92 (+0.08)
ea5a97 38.91 (-0.08) 38.91 (-0.08)
89275f 42.14 (+0.13) 42.14 (+0.13)
6d33d8 37.33 (-0.02) 37.33 (-0.02)
a7f4ee 37.96 (-0.08) 37.96 (-0.08)
6f28da 41.27 41.28